本文提出了一种新颖的使用视觉 Transformer（ViTs）处理体积医学信息的框架，通过将先进的 Swin Transformer 模型拓展到三维医学领域，以及在 ViTs 中处理体积信息和编码位置的新方法。我们提出了基于 Transformer 的体积方法 SuperFormer，用于磁共振成像（MRI）超分辨率，通过利用 MRI 域的三维信息和具有三维相对位置编码的局部自注意机制来恢复解剖细节，并结合体积域和特征域的多域信息进行高分辨率 MRI 的重建，对人体连通项目数据集进行了广泛验证，并证明了体积 Transformer 相对于基于三维 CNN 的方法的优越性。

Jun, 2024

利用扩散模型的潜在空间来形成 3D 分析的切片序列，并将聚类关注融入 ViT 以聚合 3D CT 扫描中的重复信息，从而利用先进的 Transformer 模型在小型数据集上执行 3D 分类任务，表现出卓越的性能。

Jun, 2024

本篇论文介绍了一种新的 UNETR 架构，通过使用 Transformer 作为编码器，可以捕捉更长程的空间依赖性，同时保持 “U 形” 的网络设计。实验证明，在多个数据集上，该方法在多器官分割任务上取得了最新的最优性能。

Mar, 2021

本文提出了一种名为 3D Volume Transformer（VolT）的新框架，将多视角 3D 重建转化成了序列到序列的预测问题，并使用 self-attention 来探索多个无序输入之间的视图关系。在大规模 3D 重建基准数据集 ShapeNet 上，我们的方法比其他基于 CNN 的方法使用更少的参数（减少了 70%），实现了新的多视角重建的最新精度。

Mar, 2021

SegFormer3D 是一种记忆高效的分层 Transformer，在 3D 医学图像分割中拥有比当前最先进模型更少的参数和更低的 GFLOPS，并在 Synapse、BRaTs 和 ACDC 等广泛使用的数据集上取得竞争性结果。

Apr, 2024

通过学习条件于相机姿态和图像内容的视图融合功能，利用变压器提出端到端体积三维重建网络 VoRTX，其模型鲁棒性强，处理视角多样，能保留更多的细节信息，比现有最先进方法更出色。

Dec, 2021

本研究提出了一种基于自监督学习的 3D 医学成像的新型框架，即 Rubik's cube ++，通过对 3D 体数据进行体积化转换来更好地利用器官的内在三维解剖信息，可以预先训练 3D 神经网络，在胰腺分割和脑组织分割等各种任务中表现出更好的性能。

Jul, 2020

本文提出了 Stratified Transformer 算法，实现了对于长程依赖的建模，通过关键采样策略提高了机器学习模型的有效感受野，并且结合位置编码增强了性能与收敛速度。实验也证明了该算法在三个数据集上的有效性和优越性。

Mar, 2022

通过两种时间距离视觉变换器的解释，本研究对广泛的长期医学影像进行了创新性的分类，并在 CT 肺筛查研究中取得了成功，优于横截面方法。

Sep, 2022

本文提出了一种基于 Transformer 的端到端图像压缩和分析模型，实现云端图像分类应用，并通过两步训练策略解决了率失真精度优化问题。实验结果表明，该模型在图像压缩和分类任务中均具有有效性。

Dec, 2021