Aug, 2023

学习可见光和长波红外图像块匹配的多域特征关系

PDF
TL;DR学习算法在交叉光谱图像块匹配方面取得了有希望的性能，然而在实际应用中仍然存在不足。我们发布了迄今为止最大的可见光和长波红外图像块匹配数据集 VL-CMIM，其中包含 1300 对严格对准的可见光和红外图像，覆盖了包括星际、田地、乡村、建筑、街道和水域等不同场景的超过 200 万个块对。此外，我们提出了一种多域特征关系学习网络（MD-FRN），通过四分支网络提取的特征来学习空间域和尺度域的特征关系。为了更进一步聚合多域关系，我们应用了深度域交互机制（DIM），其中学到的空间关系和尺度关系特征被交换并进一步输入到 MSCRM 和 SCM。通过学习交互式跨域特征关系，我们的模型能够更好地应对不同模态导致的显著外观变化，从而提高了稳健性。
发现论文，激发创造
  • 跨领域少样本高光谱图像分类的多视图关系学习

    本文提出了一种基于多视角关系学习的跨域少样本高光谱图像分类方法，通过学习样本之间的关系来改善跨域少样本高光谱图像分类，并结合对比学习和基于 Transformer 的跨注意力学习模块来获得更可区分的样本特征。实验证明，与现有方法相比，多视角关系学习机制对于少样本高光谱图像分类的贡献显著。

    Nov, 2023

  • 跨光谱图像块匹配的关系表示学习网络

    通过创新的关系表示学习方法，同时关注个体内在特征和图像补丁特征之间的关系，构建了一种轻量级的关系表示学习网络（RRL-Net），包括自动编码器、特征交互学习模块、多维全局到局部注意力机制以及基于注意力的轻量级特征提取网络。经过大量实验验证，该网络在多个公共数据集上取得了最先进的性能。

    Mar, 2024

  • 频域模态不变特征学习在可见 - 红外人员再识别中的应用

    通过频域透视角度降低现有频域可见光红外人物再识别方法中的模态差异问题，通过引入实例自适应振幅滤波模块和短语保持归一化模块强化模态不变振幅分量并抑制模态特定分量，研究结果表明我们的模型在 SYSU-MM01 和 RegDB 两个标准数据集上性能优越。

    Jan, 2024

  • 通过隐式跨域对应实现的长期不变局部特征

    通过改进现代视觉特征提取网络的监督方法，我们的方法在跨长期视觉领域变化的图像对捕捉下，显著改善了视觉定位性能，减小了性能差距，为长期部署提供了更稳健的视觉定位方法，并在长期定位基准测试中始终优于现有方法。

    Nov, 2023

  • 红外和可见光图像融合的多尺度信息融合框架

    我们提出了一种多尺度双注意 (MDA) 框架，用于红外和可见光图像融合，在图像和块级别测量和整合互补信息，并通过损失函数在结构和特征级别进行融合。

    Dec, 2023

  • 特征域多尺度块匹配学习的分布式图像压缩

    采用多尺度特征域补丁匹配（MSFDPM）模块来充分利用分布式图像压缩模型中的附加信息，从而比图像域中的补丁匹配方法（Ayzik 和 Avidan 2020）更好地解决了视差问题，并提高了约 20% 的压缩率。

    Sep, 2022

  • 红外与可见光图像配准的模态不变表示

    本文提出了一种自适应场景红外和可见图像配准方法，其使用多模态传感器模块进行场景感知。该方法采用反演平移过程建立多模态图像的不变性域，并利用单应性对不同平面间的变形进行仿真，并通过残差估计、相关性搜索等方法实现更准确的匹配，最终验证了该方法的有效性。

    Apr, 2023

  • 热红外追踪的多任务驱动特征模型

    该论文提出了一种基于多任务学习的框架，学习适用于红外追踪的特征模型，并使用大规模红外训练数据集来优化该模型。在三个基准测试中，实验结果表明，该算法的相对增益达到 10％，表现优于现有的方法。

    Nov, 2019

  • 弥合地对空图像匹配的领域差距

    本研究提出了一种基于条件 GAN 的新方法，通过合成俯视图像，将两个视图之间的差距最小化，实现了对视觉实体的跨视图建模并进行特征融合，最终在 CVUSA 数据集上成功实现了景点检索任务。

    Apr, 2019

  • 通过广义相似度度量和特征学习进行跨领域视觉匹配

    本论文提出了一种新的成对相似度测量模型，该模型通过将传统线性投影扩展为仿射变换，并将仿射马氏距离和余弦相似度融合为数据驱动的组合，结合特征表示学习和深度卷积神经网络，实现了端到端的模型优化，在多个跨域匹配任务中测试并取得了优于其他现有方法的结果。

    May, 2016