借助自监督视觉变换器进行神经转换函数设计

Sep, 2023

借助自监督视觉变换器进行神经转换函数设计

Leveraging Self-Supervised Vision Transformers for Neural Transfer Function Design

Dominik Engel, Leon Sick, Timo Ropinski

TL;DR使用自监督预训练视觉转换器的特征提取能力，我们提出了一种用于体绘制的传递函数定义方法。用户只需在切片查看器中选择感兴趣的结构，我们的方法将基于神经网络提取的高级特征自动选择类似结构。与之前的基于学习的传递函数方法不同，我们的方法不需要模型训练，并且可以进行快速推理，从而实现对体数据的交互式探索。通过与现有的基于学习的方法在注释和计算时间以及分割准确度方面的比较，我们展示了我们方法的交互性和有效性。

Abstract

In volume rendering, transfer functions are used to classify structures of interest, and to assign optical properties such as color and opacity. They are commonly defined as 1D or 2D functions that map simple fea

volume rendering transfer functions self-supervised pre-trained vision transformers neural network interactive exploration

发现论文，激发创造

Hyper-VolTran：基于超网络的快速且通用的一次性图像到 3D 物体结构转换

从单一视角解决图像到三维的问题是一个不适定问题，现有的神经重建方法依靠场景特定的优化限制其泛化能力。为了克服现有方法在泛化和一致性方面的局限性，我们引入了一种新颖的神经渲染技术。我们的方法通过几何编码体积和超网络，采用有符号距离函数作为表面表示，并从生成的多视图输入构建神经编码体积，在测试时根据输入图像调整 SDF 网络的权重，通过超网络以前馈方式实现对新场景的模型适应。为了减轻合成视图产生的伪影，我们提出了一个体素变换模块来改善图像特征的聚合，而不是单独处理每个视点。通过我们提出的 Hyper-VolTran 方法，我们避免了场景特定优化的瓶颈，并保持从多个视点生成的图像的一致性。我们的实验证明了我们提出的方法的优越性，具有一致的结果和快速生成。

Dec, 2023

基于 Transformer 的多视角三维重建

本文提出了一种名为 3D Volume Transformer（VolT）的新框架，将多视角 3D 重建转化成了序列到序列的预测问题，并使用 self-attention 来探索多个无序输入之间的视图关系。在大规模 3D 重建基准数据集 ShapeNet 上，我们的方法比其他基于 CNN 的方法使用更少的参数（减少了 70%），实现了新的多视角重建的最新精度。

Mar, 2021

使用 Transformer 进行体素级别视角选择和融合的体积式 3D 重建

通过学习条件于相机姿态和图像内容的视图融合功能，利用变压器提出端到端体积三维重建网络 VoRTX，其模型鲁棒性强，处理视角多样，能保留更多的细节信息，比现有最先进方法更出色。

Dec, 2021

基于 Transformer 的视觉分割：一份综述

本文综述了基于 transformer 的视觉分割技术，总结了近期的进展，详细介绍了各种方法设计和应用，并对该领域的未来研究方向进行了探讨。

Apr, 2023

基于 Transformer 的可变长度体积数据端对端分类

本研究提出一种基于 Transformer 的框架，通过随机分辨率输入不同的切片来增强可学习的位置嵌入，从而可以有效地分类可变长度的体积数据，这种方法在视网膜 OCT 卷积分类上获得了 21.96% 的平衡准确度提升。

Jul, 2023

使用在自然图像上预训练的 2D 视觉 Transformer 增强 3D 神经元分割

通过在大规模自然图像上预训练的 2D 视觉 Transformer 模型，初始化基于 Transformer 的 3D 神经元分割模型，建立了丰富的自然图像与稀有神经元图像之间的知识共享连接，以提高 3D 神经元分割的效能。

May, 2024

单输入图像视角合成的视觉 Transformer 网络

本研究提出利用全局和局部特征构建表达式三维模型的方法，通过训练 MLP 网络，实现从单个未定位图像中合成新视角，并在多个物体类别上进行泛化，获得了比现有方法更出色的性能和更丰富的细节渲染。

Jul, 2022

无监督结构光变换

我们提出了一种基于鲁棒的 Transformer 的单目 SfM 方法，能够同时预测单目像素级深度、自车的平移和旋转、相机的焦距和主点，并且通过在 KITTI 和 DDAD 数据集上的实验，展示了如何适应不同的视觉 Transformer 并将其与当代基于 CNN 的方法进行比较。我们的研究表明，虽然基于 Transformer 的架构在运行时间效率上较低，但在面对自然的破坏、非目标攻击和有目标攻击时具有可比性的性能，并且更加稳健。

Dec, 2023

SuperFormer：基于体素变换的 MRI 超分辨率结构

本文提出了一种新颖的使用视觉 Transformer（ViTs）处理体积医学信息的框架，通过将先进的 Swin Transformer 模型拓展到三维医学领域，以及在 ViTs 中处理体积信息和编码位置的新方法。我们提出了基于 Transformer 的体积方法 SuperFormer，用于磁共振成像（MRI）超分辨率，通过利用 MRI 域的三维信息和具有三维相对位置编码的局部自注意机制来恢复解剖细节，并结合体积域和特征域的多域信息进行高分辨率 MRI 的重建，对人体连通项目数据集进行了广泛验证，并证明了体积 Transformer 相对于基于三维 CNN 的方法的优越性。

Jun, 2024

使用 Vision Transformers 对检测迁移学习进行基准测试

本文提出了可用于 Mask R-CNN 的 Vision Transformer 模型的训练技术，使用五种 ViT 初始化方法进行实验比较，结果表明最近基于遮蔽的无监督学习方法可能是首次在 COCO 数据集上提供了令人信服的转移学习改进，随着模型大小的增加，这些基于遮蔽的初始化方法具有更好的可扩展性和改进性。

Nov, 2021