多模态数据增强在受损数据下的可见 - 红外人员再识别

Nov, 2022

多模态数据增强在受损数据下的可见 - 红外人员再识别

Multimodal Data Augmentation for Visual-Infrared Person ReID with Corrupted Data

Arthur Josi, Mahdi Alehdaghi, Rafael M. O. Cruz, Eric Granger

TL;DR本文提出一种专门针对可见光 - 红外多模态下的数据增强方法，可以减小在复杂场景下 RGB 和 IR 图像损坏的影响，鼓励模态之间的协作并加强泛化能力，结果表明采用该策略训练的 V-I ReID 模型可以在多个数据集上胜过未进行数据增强的模型。

Abstract

The re-identification (ReID) of individuals over a complex network of cameras is a challenging task, especially under real-world surveillance conditions. Several deep learning models have been proposed for visibl

re-identification deep learning data augmentation v-i person reid multimodal

发现论文，激发创造

基于损坏的多模态数据的实时监控下的视觉 - 红外人员再识别融合

本文提出一种名为具有多种模态中间流融合（MMSF）的高效模型，用于多模态可见光红外人物再识别，旨在提高对损坏的多模态图像的鲁棒性。同时，我们还提出新的可扩展的受损数据集和策略，以提高 V-I 个人再识别系统在现实世界操作条件下的准确性与鲁棒性。

Apr, 2023

可见光与红外人员再识别的模态统一网络

通过引入一个新的模态统一网络（MUN），本研究针对可见光 - 红外人员重识别（VI-ReID）中的大量跨模态差异和类内变异问题，通过动态建模模态特定和模态共享表示来提取判别特征表达，从而使所提出的方法在多个公共数据集上明显超过当前最先进的方法。

Sep, 2023

基于视频的可见光红外人员再识别与辅助样本

本研究提出了一种可匹配可见光和红外相机捕捉的人物的可视红外人物再识别方法（VI-ReID），旨在实现 24 小时监控系统中的人物检索和跟踪。通过构建大规模 VI-ReID 数据集 BUPTCampus，本研究为该领域的进一步研究提供了基础，并通过应用生成对抗网络（GAN）和课程学习等方法，取得了显著优越的实验结果。

Nov, 2023

可见光 - 红外跨模态人员再识别的高效框架

本论文提出了一种四流框架，通过深度卷积神经网络中不同的输入图像表示来学习不同的特征，从而改善可见光 - 红外人员重识别系统的性能。实验结果表明，该框架在多个数据集上优于当前最先进的方法。

Jul, 2019

VI-Diff：单模态标记的可见 - 红外人员再识别的非配对可见 - 红外转换扩散模型

提出了 VI-Diff，一种有效解决可见 - 红外人物图像翻译任务的扩散模型。通过综合实验证明，VI-Diff 优于现有的扩散和生成对抗网络模型，为具有单模态标记数据的 VI-ReID 任务提供了有希望的解决方案。

Oct, 2023

面向可见光红外人员再识别的同质化模态学习和多粒度信息探索

本文提出一种基于 Aligned Grayscale Modality (AGM) 的跨模态人员重识别方法，通过生成灰度可见光图像和风格迁移转换红外图像得到一致的数据，再结合多颗粒度特征提取网络在特征级别进行对齐，能够显著提高跨模态检索表现。

Apr, 2022

通过对齐学习：利用跨模态对应关系进行可见光 - 红外人员再识别

本研究提出了一种新颖的特征学习框架，通过利用密集对应的交叉模态人物图像，像素级地抑制与模态相关的特征，从而更有效地促进交叉模态本地特征的判别式特征学习，从而解决了可见 - 红外人物重识别的问题。

Aug, 2021

动态身份引导注意力网络用于可见 - 红外人物再识别

多模态人物识别中的动态身份引导注意力网络（DIAN）旨在通过挖掘身份引导和模态一致的嵌入来解决交叉模态差异的问题。实验结果表明，DIAN 在 SYSU-MM01 和 RegDB 数据集上取得了最先进的性能。

May, 2024

跨模态干扰协同攻击用于人物再识别

本研究针对跨模态人物再识别（ReID）模型的安全性进行了首次探索，并提出了一种专门针对跨模态 ReID 的通用扰动攻击。该攻击利用不同模态数据的梯度优化扰动，从而破坏鉴别器并加强模态之间的差异，通过在 RegDB 和 SYSU 两个广泛使用的跨模态数据集上的实验证明了该方法的有效性，并为未来增强跨模态 ReID 系统的鲁棒性提供了见解。

Jan, 2024

学习渐进式多模态共享的转换器以实现有效的可见 - 红外人员重识别

本文提出了一种名为 PMT 的深度学习框架，它采用渐进式共享模态转换器来解决 VI-ReID 任务中复杂的模态变化问题，并对模态共享特征进行可靠度和共性分析；同时提出了一种 Discriminative Center Loss (DCL)，结合 Modality-Shared Enhancement Loss (MSEL) 来缓解大内部差异和小类间差异问题，从而更好地区分共享特征，该框架在 SYSU-MM01 和 RegDB 数据集上的表现优于现有的大多数最新状态 - of-the-art 方法。

Dec, 2022