Jun, 2023

通过运动分解 Transformer 学习可变形图像配准

PDF
TL;DR本文提出一种新颖的运动分解 Transformer (ModeT), 用于像医学图像配准中的非刚性变形估计，出色地超越了当前最先进的配准网络和 Transformer, 并展示了我们的 ModeT 的潜力。
发现论文，激发创造
  • ModeTv2：基于 GPU 加速的运动分解变换器在医学图像配准中的成对优化

    本研究介绍了一种采用金字塔网络和增强型运动分解 Transformer (ModeTv2) 操作符的可变形图像配准方法，展示了与传统方法相似的优越的成对优化（PO）能力。通过使用 CUDA 扩展重新实现 ModeT 操作符以提高计算效率，并提出了 RegHead 模块以改进变形场的真实性和减少参数。采用成对优化（PO），所提出的网络在两个公开的脑 MRI 数据集和一个腹部 CT 数据集上进行了广泛实验证明其适用于 PO，提供了一种具有增强的易用性和可解释性的深度学习模型。代码公开可用。

    Mar, 2024

  • TransMorph: 无监督医学图像配准的 Transformer 模型

    本文提出了 TransMorph，一种混合了 Transformer-ConvNet 模型的医学图像配准方法，并通过验证证明，该方法在医学图像配准方面性能显著优于基线方法，从而证实了 Transformer 在医学图像配准方面的有效性。

    Nov, 2021

  • 用于多模式图像配准的对抗单模态和多模态流网络

    提出一种新颖的基于翻译的无监督可变形图像配准方法，该方法利用双流方式调节变形场以实现更好的配准性能，并使用计算效率高的相似度度量对多模态配准网络进行有效训练，并在两个临床数据集上验证了其优越性能。

    Jul, 2020

  • 基于堆叠 Transformer 的多模态动作预测

    该论文提出了一种新的基于 transformer 的系统 ——mmTransformer，它使用独立提案集生成和选择提案，并使用基于区域的训练策略诱导所生成提案的多样性。实验表明，该模型在运动预测方面具有最先进的性能，大大提高了预测轨迹的多样性和准确性。

    Mar, 2021

  • 基于 Transformer 的多模式神经网络用于自动驾驶的运动预测

    本文介绍了一种基于 Transformer 结构的神经预测框架来模拟车辆之间的社交关系和预测可能的轨迹，其中采用了多模态注意机制来解决运动预测的多模态问题，并在 Argoverse 运动预测数据集上得到了最佳预测精度。

    Sep, 2021

  • 具有全局意图定位和局部运动细化的运动变换器

    本文提出了一个 Motion TRansformer (MTR) 框架，将运动预测看作全局意向定位和局部运动细化的联合优化问题，通过可学习的少量运动查询对来引入空间意向先验，实现了更好的多模态预测。实验表明，该方法在多个运动预测挑战上均达到了最先进的水平，并在 Waymo 开放式运动数据集的排行榜上排名第一。

    Sep, 2022

  • 多模态 Transformer 网络用于动作检测

    本文提出了一种新的多模态转换器网络，用于检测未修剪视频中的动作，利用新的多模态注意机制计算不同空间和动态模态组合之间的相关性，并提出一种算法来纠正相机运动引起的动态变形，该算法在 THUMOS14 和 ActivityNet 两个公共基准测试上优于现有方法，在我们的新教育活动数据集上进行了比较实验，该数据集包括从小学捕捉的大量具有挑战性的课堂视频。

    May, 2023

  • EfficientMorph：高参数效率的基于 Transformer 的三维图像配准架构

    EfficientMorph 是一种基于 transformer 的无监督三维图像配准架构，通过平面注意机制优化本地和全局注意的平衡，通过级联组注意减少计算冗余，并通过 Hi-Res 令牌化策略捕捉细节，同时保持计算效率，在 OASIS 数据集上创下了 16-27 倍少参数的性能新纪录。

    Mar, 2024

  • mmFormer：用于不完整多模态脑肿瘤分割的多模态医学 Transformer

    该研究提出了一种多模态医学 Transformer (mnFormer)，用于不完整多模态学习的脑肿瘤分割，并且该方法在 BraTS 2018 数据集上显示出了比现有方法更好的表现。

    Jun, 2022

  • 基于 Transformer 的分离模态交叉注意力 3D 人体网格恢复

    本文研究了 Transformer Encoder 在 3D 人类网格重建上的应用。提出了一种名为 FastMETRO 的新型 Transformer Encoder-Decoder 结构，对输入标记的复杂性进行了解耦，并通过注意掩码和网格上采样操作引入人体形态学关系的先验知识来提高其收敛速度和准确性。在 Human3.6M 和 3DPW 数据集上，和基于图像的方法相比明显更有效。

    Jul, 2022