Apr, 2024

一种基于轻量级 Transformer 的异构图像的自监督匹配网络

PDF
TL;DR提出一种新的关键点描述方法，通过自监督匹配网络获取稳健的特征描述子。设计了一种轻量级变换网络 LTFormer 生成深层特征描述子，并通过创新的三元组损失函数 LT Loss 进一步提高匹配性能，相比手工设计的本地特征描述子表现更好，即使数据有限，也与最先进的基于深度学习的方法相媲美。
remote sensing image fusionnonlinear radiometric differencesdeep learningself-supervised matching networktriplet loss function
发现论文，激发创造
  • LoFTR: 基于 Transformer 的无检测器局部特征匹配

    本文提出了一种新的局部图像特征匹配方法，使用 Transformer 的自注意层和交叉注意层得出特征描述符，在低纹理区域中实现稠密匹配，在室内和室外数据集上表现优异，成为视觉定位的新的 state-of-the-art 方法。

    Apr, 2021

  • 遥感数据的去偏学习

    我们提出了一种针对遥感数据的高效半监督学习方法，通过适应 FixMatch 框架以及消除训练数据中的偏差，使用已标记数据的 30% 在遥感数据集上相较于基准监督学习方法提供了 7.1% 的准确度提升，以及相较于监督学习的最新方法 CDS 提供了 2.1% 的准确度提升。

    Dec, 2023

  • MatchFormer: 用于特征匹配的变形金刚中的交错注意力

    本文提出了一种新的层次化提取和匹配变形器 MatchFormer 来提高局部特征匹配的效率和鲁棒性，该方法结合自注意力和跨注意力在多尺度特征的层次化架构上提高匹配鲁棒性，并在室内姿势评估、室外姿势评估、单应性评估和图像匹配检测四个基准测试中均取得 state-of-the-art 的结果。

    Mar, 2022

  • 基于深度学习的局部特征匹配：综述

    本研究对本地特征匹配方法进行了全面的综述，将其分类为基于探测器和不基于探测器两类，并探索了其在不同领域的实际应用和面临的当前挑战，以及未来的研究方向。

    Jan, 2024

  • 基于 Transformer 的深度腹腔镜立体匹配

    本文提出了一种新的混合深度立体匹配框架（HybridStereoNet），使用 Transformer 实现特征表示学习，并结合 CNN 用于代价汇聚，旨在提高立体视觉匹配精度和泛化能力。实验结果表明，与其他选项相比，本文方法收敛更快，准确率更高，能够在 Sceneflow，SCARED2019 和 dVPN 数据集上实现卓越的性能。

    Jul, 2022

  • 热红外物体跟踪的深度多层相似度学习

    本研究提出一种多层相似性模型来提高红外物体跟踪的辨别能力，其中利用了卷积层计算 TIR 对象的全局语义相似度和本地结构相似度，通过一种相对熵的集成子网络进行集成，并构建了大规模 TIR 视频序列数据集以优化算法效果。

    Jun, 2019

  • TransforMatcher: 用于语义对应的匹配 - 匹配注意力

    本文介绍了基于 Transformer 网络的图像语义匹配学习器 TransforMatcher，通过全局匹配 - 匹配注意力和动态细化，利用轻量级注意力架构实现匹配处理和基于多层次特征的多通道相关图的精细化处理，以达到确切的匹配定位和 Semantic Learning 的效果

    May, 2022

  • 高分辨率遥感图像变化检测的轻量级结构感知 Transformer 网络

    为了解决 Transformer 网络在遥感图片变化检测中可能存在的问题，本文提出了一种轻量级结构感知 Transformer（LSAT）网络，有效地提高了 RS 图片 CD 的特征表达能力，并在各种 VHR RS 图片 CD 方法中实现了更好的检测精度和计算成本平衡。

    Jun, 2023

  • 具有自我改进能力的自监督学习用于立体匹配

    本论文提出了一种基于卷积神经网络的方法，能够从立体输入中学习计算密集的视差图，使用图像变形误差作为损失函数，无需地面真实的视差图。该方法经过在 KITTI 和 Middlebury 立体基准数据集上的实验，证明优于许多现有技术并且速度更快。

    Sep, 2017

  • 远程感知中基于近红外和低秩适应的视觉变换网络

    使用视觉转换器 (ViT) 的预训练骨干网络与低秩适应 (LoRA) 在 NIR 领域的下游任务中，通过广泛实验表明，能够实现对 NIR 图像的最佳性能。

    May, 2024