May, 2024

TP3M: 基于 Transformer 的伪 3D 图像匹配带参考

PDF
TL;DR本论文提出了一种基于 Transformer 的伪三维图像匹配方法，通过引入参考图像将源图像的 2D 特征升级为 3D 特征，并通过由粗到细的三维匹配与目标图像的 2D 特征进行匹配，从而提高了在具有大视角或光照变化或低纹理的场景中的匹配性能。实验结果表明，所提出的方法在同态估计、姿态估计和视觉定位任务中，在具有挑战性的场景中达到了最先进的水平。
image matchingtransformer-based pseudo 3d matchingreference imagecoarse-to-fine matchingchallenging scenes
发现论文，激发创造
  • 2D3D-MATR: 图像与点云之间基于 2D-3D 匹配变换器的无检测配准

    采用 2D3D-MATR 方法，我们提出了一种无需检测的方法，用于图像和点云之间的准确且鲁棒的配准。该方法在粗匹配的基础上，通过学习全局上下文约束和跨模态相关性，通过 transformer 实现多尺度金字塔和图像块焦点学习，解决了尺度不确定性问题，从而获得了比之前的最优模型 P2-Net 更高的配准率和稳定度。

    Aug, 2023

  • 用 MASt3R 在 3D 中实现图像匹配

    通过在 DUSt3R 网络中引入新的头部，并训练密集局部特征以及附加匹配损失，我们改进了匹配能力，同时保持其鲁棒性，取得了显著的结果改进，击败了现有方法，并在多个匹配任务中实现了 30％的绝对改善。

    Jun, 2024

  • TransFusion：基于 Transformer 的跨视角三维人体姿态融合估计

    该研究论文提出了一种可应用于多视角 3D 姿态估计中的变换器框架，该框架可以直接整合来自不同视角的信息，以改善 2D 预测器的性能。同时，研究人员还提出了一个名为 Epipolar field 的概念，它可以将 3D 位置信息编码到变换器模型中。实验证明，该方法更加高效，与其他融合方法相比有一致的改进。

    Oct, 2021

  • 2D3D-MatchNet：学习在 2D 图像和 3D 点云之间匹配关键点

    本研究提出了一种名为 2D3D-MatchNet 的深度网络结构，能够直接从图像和点云中的 2D 和 3D 关键点描述符中匹配和建立 2D-3D 对应关系，并用于视觉位姿估计，结果表明该方法是可行的。

    Apr, 2019

  • TransforMatcher: 用于语义对应的匹配 - 匹配注意力

    本文介绍了基于 Transformer 网络的图像语义匹配学习器 TransforMatcher，通过全局匹配 - 匹配注意力和动态细化，利用轻量级注意力架构实现匹配处理和基于多层次特征的多通道相关图的精细化处理，以达到确切的匹配定位和 Semantic Learning 的效果

    May, 2022

  • PMatch：用于密集几何匹配的成对掩蔽图像建模

    本文通过对预训练模块重构和加入新模块，实现了稠密几何匹配任务的最优表现，并提供了相应的代码和模型。

    Mar, 2023

  • 一种基于轻量级 Transformer 的异构图像的自监督匹配网络

    提出一种新的关键点描述方法，通过自监督匹配网络获取稳健的特征描述子。设计了一种轻量级变换网络 LTFormer 生成深层特征描述子，并通过创新的三元组损失函数 LT Loss 进一步提高匹配性能，相比手工设计的本地特征描述子表现更好，即使数据有限，也与最先进的基于深度学习的方法相媲美。

    Apr, 2024

  • TransMatcher：一种利用 Transformer 实现深度图像匹配的通用人员重识别方法

    本文认为转换器由于缺乏图像之间的关注而不适用于图像匹配，因此提出了一种简化的解码器，称为 TransMatcher，它在一些流行的数据集中实现了最先进的表现以进行泛化人员再识别。

    May, 2021

  • GeoTransformer: 快速且鲁棒的点云配准算法与几何变换

    本论文研究了点云配准中准确提取对应关系的问题，通过绕过重复关键点的检测，利用超点实现了匹配，并提出了一种名为几何变换器（GeoTransformer）的方法来学习几何特征，从而使得在低重叠情况下具有鲁棒性。实验证明该方法在各种测试场景下都表现出了显著的准确性和效率。

    Jul, 2023

  • PT43D：基于单一高度模糊 RGB 图像生成三维形状的概率变换器

    提出了一种基于 Transformer 的自回归模型，根据可能以高度模糊的观测图像为基础的 RGB 图像，生成 3D 形状的概率分布，该模型采用交叉注意力机制，有效地识别形状生成的最相关兴趣区域，并在合成数据和真实数据上得到优于现有方法的结果。

    May, 2024