Jan, 2024

基于 CLIP 的可见光 - 红外人员再识别的语义发现网络

PDF
TL;DR可见 - 红外人员再识别（VIReID）主要处理来自不同模态的人员图像之间的身份匹配，并通过融合高级语义与视觉特征来弥合模态差距。我们提出了一个基于 CLIP 的语义发现网络（CSDN），通过多模态学习的文本标记和集成文本特征来嵌入丰富的高级语义信息，从而促进了视觉特征的模态不变性。在多个常用基准测试上的实验评估证实了我们提出的 CSDN 方法的有效性和优越性。
visible-infrared person re-identificationmodality gapclip-driven semantic discovery networkhigh-level semantic informationmodality invariance
发现论文，激发创造
  • 动态身份引导注意力网络用于可见 - 红外人物再识别

    多模态人物识别中的动态身份引导注意力网络（DIAN）旨在通过挖掘身份引导和模态一致的嵌入来解决交叉模态差异的问题。实验结果表明，DIAN 在 SYSU-MM01 和 RegDB 数据集上取得了最先进的性能。

    May, 2024

  • 增强可见 - 红外人体重新识别：模态和实例感知视觉提示学习

    可见 - 红外人员重新识别的关键是利用模态感知和实例感知的视觉提示网络，建立在 Transformer 架构上，利用模态特定提示和个体特定提示以提高鉴别能力，并在 SYSU-MM01 和 RegDB 数据集上验证了其有效性。

    Jun, 2024

  • Hi-CMD: 可见光 - 红外分层交叉特征解耦用于人体重识别

    本篇论文提出了一种基于 Hierarchical Cross-Modality Disentanglement 的方法，该方法使用 ID-discriminative factors 用于跨模式匹配，并使用 ID-preserving person image generation network 和 hierarchical feature learning module 生成一个新的跨模态图像来学习可见 - 红外图像的共同 ID 判别特征。

    Dec, 2019

  • 可见 - 红外人物再识别的隐性判别知识学习

    可见光红外人物再识别是一项具有挑战性的跨模态行人检索任务，该研究提出了一种新颖的隐式判别知识学习网络 (IDKL)，通过提取模态特定和模态共享特征，减少模态风格差异并提升识别知识，实现了对隐含判别信息的利用，进一步强化模态共享特征的独特性，以最小化模态差异。与现有方法相比，实验结果表明 IDKL 网络具有优越性能。

    Mar, 2024

  • YYDS：粗略描述的可见光红外人员再识别

    通过引入 YYDS 结构来解决可见光 - 红外人员重新识别的问题，同时使用粗糙语言描述信息进行目标可见图像匹配，以补充缺失的颜色信息，并使用 CMKR 算法进行近邻模态偏差问题的改善。

    Mar, 2024

  • 通过对齐学习：利用跨模态对应关系进行可见光 - 红外人员再识别

    本研究提出了一种新颖的特征学习框架，通过利用密集对应的交叉模态人物图像，像素级地抑制与模态相关的特征，从而更有效地促进交叉模态本地特征的判别式特征学习，从而解决了可见 - 红外人物重识别的问题。

    Aug, 2021

  • 学习用于异质人物再识别的跨模态信息瓶颈表示

    通过互信息和模态一致性网络，提取具有代表性信息的模态不变身份特征，减少冗余，消除模态差异，并对关键部分进行全局 - 局部特征提取，以实现可见 - 红外人物重识别任务。

    Aug, 2023

  • 基于 CLIP 的细粒度文本图像人员再识别

    提出了一种基于 CLIP 驱动的细粒度信息挖掘框架 (CFine)，旨在为 TIReID 提供强大的多模态知识，通过细粒度信息挖掘，建立跨模态对齐，并在多个基准测试上显示了其优越的性能。

    Oct, 2022

  • 面向可见光红外人员再识别的同质化模态学习和多粒度信息探索

    本文提出一种基于 Aligned Grayscale Modality (AGM) 的跨模态人员重识别方法，通过生成灰度可见光图像和风格迁移转换红外图像得到一致的数据，再结合多颗粒度特征提取网络在特征级别进行对齐，能够显著提高跨模态检索表现。

    Apr, 2022

  • 可见光 - 红外跨模态人员再识别的高效框架

    本论文提出了一种四流框架，通过深度卷积神经网络中不同的输入图像表示来学习不同的特征，从而改善可见光 - 红外人员重识别系统的性能。实验结果表明，该框架在多个数据集上优于当前最先进的方法。

    Jul, 2019