CVPRApr, 2024

跨模态特征匹配转换器

PDF
TL;DR我们介绍了一种跨模态跨视角方法，用于热红外和可见图像之间的局部特征匹配。该方法通过引入掩膜图像建模预训练和微调，并加入伪热图像增强解决了模态差异的问题，同时通过子像素级的细化调整解决了尺度差异和增强匹配的可靠性。我们通过一个综合的可见 - 热红外数据集验证了我们的方法，并展示了在多项基准测试中我们方法的优越性。
cross-modal cross-viewlocal feature matchingthermal infraredvisible imagespseudo-thermal image augmentation
发现论文，激发创造
  • LoFTR: 基于 Transformer 的无检测器局部特征匹配

    本文提出了一种新的局部图像特征匹配方法，使用 Transformer 的自注意层和交叉注意层得出特征描述符，在低纹理区域中实现稠密匹配，在室内和室外数据集上表现优异，成为视觉定位的新的 state-of-the-art 方法。

    Apr, 2021

  • 热红外追踪的多任务驱动特征模型

    该论文提出了一种基于多任务学习的框架，学习适用于红外追踪的特征模型，并使用大规模红外训练数据集来优化该模型。在三个基准测试中，实验结果表明，该算法的相对增益达到 10％，表现优于现有的方法。

    Nov, 2019

  • 使用对抗训练进行未配对的热到可见光谱转换

    提出了一种使用生成对抗网络的无监督学习方法，来实现热红外相机拍摄图像的可视化处理，相较于现有的监督学习模型，该模型在 KAIST-MS 数据集上表现更好，并且对新环境具有良好的泛化性能。

    Apr, 2019

  • 隐式多光谱转换器：一种轻量且有效的可见光到红外图像转换模型

    通过使用基于 Transformer 的新型模型，将可见光图像转换为高保真红外图像，从而解决了低光条件下可见光图像对比度低的问题，并比现有方法在质量和数量上都有显着优势，为红外图像的下游应用提供了更有效的支持。

    Apr, 2024

  • 跨模态人脸识别的深度感知映射

    本文提出了一种利用深度神经网络来捕捉 2 种不同模式下人脸匹配问题的非线性映射关系，以达到跨模式人脸匹配的目的，并在 3 个数据集上获得了相当大的识别率提升。

    Jan, 2016

  • 基于综合的方法进行热 - 可见光人脸验证

    本研究提出了一种新的算法，实现了对 ARL-VTF 和 TUFTS 多光谱人脸数据集的最新性能和 MILAB-VTF（B）数据集的强大性能。该算法具有广泛的适用性，稳健性和高效性，并将提出的方法与人脸正面化方法进行比较。

    Aug, 2021

  • 端到端热红外跟踪的合成数据生成

    使用图像到图像翻译模型，将可得的 RGB 数据转换成合成 TIR 数据用于 TIR 跟踪中的端到端特征的训练，并在 VOT-TIR2017 数据集上进行实验，发现相对于仅训练可得真实 TIR 数据或人工构建特征的方法，使用合成数据进行训练可以显著提高跟踪性能且通过与运动特征的结合可以进一步改进。

    Jun, 2018

  • 热红外物体跟踪的深度多层相似度学习

    本研究提出一种多层相似性模型来提高红外物体跟踪的辨别能力，其中利用了卷积层计算 TIR 对象的全局语义相似度和本地结构相似度，通过一种相对熵的集成子网络进行集成，并构建了大规模 TIR 视频序列数据集以优化算法效果。

    Jun, 2019

  • 基于重叠估计的局部特征匹配指南

    本文提出了一种名为 OETR 的 Overlap Estimation 方法，该方法利用 Transformer 对图像对进行条件化，并在常见可见区域内约束本地特征匹配，并在特征相关性和重叠回归的两个步骤中执行重叠估计，可用于任何现有的局部特征检测和匹配流水线中，以减轻潜在的视角或尺度差异，实验表明该方法可以显着提高本地特征匹配的表现。

    Feb, 2022

  • 高效的 LoFTR：带有类稀疏速度的半稠密本地特征匹配

    我们提出了一种新的方法来高效地生成图像间的半稠密匹配。先前的无需检测器的匹配器 LoFTR 在处理大视角变化和贫纹理场景方面表现出卓越的匹配能力，但效率较低。我们重新审视其设计选择，并对效率和准确性进行多个改进。通过聚合注意力机制和自适应令牌选择，我们避免了在整个特征图上执行变换器的冗余操作。此外，我们发现 LoFTR 的细粒度相关模块存在空间差异，这对匹配准确性不利。我们提出了一种新颖的两阶段相关层，以实现准确的亚像素对应关系。我们的优化模型比 LoFTR 快 2.5 倍，甚至可以超过最先进的高效稀疏匹配流水线 SuperPoint + LightGlue。此外，广泛的实验表明，我们的方法相比竞争对手的半稠密匹配器可以实现更高的准确性，并带来可观的效率优势。这为大规模或对延迟敏感的应用，如图像检索和三维重建，开辟了令人兴奋的前景。

    Mar, 2024