Dec, 2023

跨模态感知行人注视学习的可见光 - 红外人物重新识别

PDF
TL;DR通过引入区域数据增强和轻量级混合补偿模块的转移感知行人关注学习 (TMPA) 模型，以有效补偿缺失的特定模态特征，并完全探索具有最小计算开销的判别模块完整特征，我们提出了一种新颖的可见 - 红外行人再识别方法。在 SYSU-MM01 和 RegDB 数据集上进行的广泛实验证明了我们提出的 TMPA 模型的有效性。
发现论文，激发创造
  • 增强可见 - 红外人体重新识别：模态和实例感知视觉提示学习

    可见 - 红外人员重新识别的关键是利用模态感知和实例感知的视觉提示网络，建立在 Transformer 架构上，利用模态特定提示和个体特定提示以提高鉴别能力，并在 SYSU-MM01 和 RegDB 数据集上验证了其有效性。

    Jun, 2024

  • 从多模态信息指导中学习可转移的行人表示

    本文提出了一种学习可迁移表示以增强各种行人分析任务的新框架 VAL-PAT，并介绍了三个学习目标：自监督对比学习、图像文本对比学习和多属性分类。该框架在无标签人员图像的预训练下实现了良好的性能，并扩展到各种行人分析任务。

    Apr, 2023

  • 可见光 - 红外人物重新识别的补丁混合交叉模态学习

    本文提出了 Patch-Mixed Cross-Modality framework (PMCM) 框架，该框架通过图片分割并拼接，实现了不同模态下人员识别过程中的语义对应，同时在视觉可见光和红外人员重识别任务中取得了最佳表现。

    Feb, 2023

  • 可见光与红外人员再识别的模态统一网络

    通过引入一个新的模态统一网络（MUN），本研究针对可见光 - 红外人员重识别（VI-ReID）中的大量跨模态差异和类内变异问题，通过动态建模模态特定和模态共享表示来提取判别特征表达，从而使所提出的方法在多个公共数据集上明显超过当前最先进的方法。

    Sep, 2023

  • 学习渐进式多模态共享的转换器以实现有效的可见 - 红外人员重识别

    本文提出了一种名为 PMT 的深度学习框架，它采用渐进式共享模态转换器来解决 VI-ReID 任务中复杂的模态变化问题，并对模态共享特征进行可靠度和共性分析；同时提出了一种 Discriminative Center Loss (DCL)，结合 Modality-Shared Enhancement Loss (MSEL) 来缓解大内部差异和小类间差异问题，从而更好地区分共享特征，该框架在 SYSU-MM01 和 RegDB 数据集上的表现优于现有的大多数最新状态 - of-the-art 方法。

    Dec, 2022

  • 学习用于异质人物再识别的跨模态信息瓶颈表示

    通过互信息和模态一致性网络，提取具有代表性信息的模态不变身份特征，减少冗余，消除模态差异，并对关键部分进行全局 - 局部特征提取，以实现可见 - 红外人物重识别任务。

    Aug, 2023

  • 通过对齐学习：利用跨模态对应关系进行可见光 - 红外人员再识别

    本研究提出了一种新颖的特征学习框架，通过利用密集对应的交叉模态人物图像，像素级地抑制与模态相关的特征，从而更有效地促进交叉模态本地特征的判别式特征学习，从而解决了可见 - 红外人物重识别的问题。

    Aug, 2021

  • 可见光 - 红外人员再识别的动态双关注聚合学习

    本文提出了动态双重注意聚合（DDAG）学习方法，通过挖掘 VI-ReID 中的模态内部部分级别和跨模态图级别的上下文线索，提取具有较强辨别力和噪声鲁棒性的聚合特征，从而提高了检索精度。

    Jul, 2020

  • 面向可见光红外人员再识别的同质化模态学习和多粒度信息探索

    本文提出一种基于 Aligned Grayscale Modality (AGM) 的跨模态人员重识别方法，通过生成灰度可见光图像和风格迁移转换红外图像得到一致的数据，再结合多颗粒度特征提取网络在特征级别进行对齐，能够显著提高跨模态检索表现。

    Apr, 2022

  • 多层次跨模态联合对齐：可见 - 红外人员再识别

    提出了一种名为多层交叉模态联合对齐（MCJA）的简单而有效的方法，它通过模态对齐增强和跨模态检索损失来缩小可见光和红外图像之间的差距，从而实现人员再识别任务的跨模态图像检索。

    Jul, 2023