Jan, 2024

跨模态干扰协同攻击用于人物再识别

PDF
TL;DR本研究针对跨模态人物再识别（ReID）模型的安全性进行了首次探索，并提出了一种专门针对跨模态 ReID 的通用扰动攻击。该攻击利用不同模态数据的梯度优化扰动，从而破坏鉴别器并加强模态之间的差异，通过在 RegDB 和 SYSU 两个广泛使用的跨模态数据集上的实验证明了该方法的有效性，并为未来增强跨模态 ReID 系统的鲁棒性提供了见解。
cross-modality reidsecurity concernsinfrared camerasuniversal perturbation attackdiverse modality data
发现论文，激发创造
  • 基于模态自适应 Mixup 和不变分解的 RGB+IR 人员再识别方法

    本文提出了一种新的模态自适应 Mixup 和不变分解方法（MID），以学习模态不变和具有鉴别力的表征，以应对 RGB - 红外人物再识别中由于 RGB 和红外图像之间的显着模态差异而产生的挑战，并在两个具有挑战性的基准测试上展示出了优越的性能。

    Mar, 2022

  • 面向可见光红外人员再识别的同质化模态学习和多粒度信息探索

    本文提出一种基于 Aligned Grayscale Modality (AGM) 的跨模态人员重识别方法，通过生成灰度可见光图像和风格迁移转换红外图像得到一致的数据，再结合多颗粒度特征提取网络在特征级别进行对齐，能够显著提高跨模态检索表现。

    Apr, 2022

  • 可见光 - 红外跨模态人员再识别的高效框架

    本论文提出了一种四流框架，通过深度卷积神经网络中不同的输入图像表示来学习不同的特征，从而改善可见光 - 红外人员重识别系统的性能。实验结果表明，该框架在多个数据集上优于当前最先进的方法。

    Jul, 2019

  • 多模态数据增强在受损数据下的可见 - 红外人员再识别

    本文提出一种专门针对可见光 - 红外多模态下的数据增强方法，可以减小在复杂场景下 RGB 和 IR 图像损坏的影响，鼓励模态之间的协作并加强泛化能力，结果表明采用该策略训练的 V-I ReID 模型可以在多个数据集上胜过未进行数据增强的模型。

    Nov, 2022

  • 关注不同之处：通过对比关联进行跨模态人员再识别

    该研究提出了一种双通道跨模式特征学习框架，旨在保留内在空间结构并关注输入交叉模态图像对的差异，通过在一个共同的 3D 张量空间中嵌入交叉模式图像而不丢失空间结构以及通过动态比较输入图像对来提取对比特征等方式，在两个公共可用的 RGB-IR ReID 数据集上进行了广泛实验，并在全面和简化的评估模式下均优于现有的算法。

    Oct, 2019

  • 可见光 - 红外人物重新识别的补丁混合交叉模态学习

    本文提出了 Patch-Mixed Cross-Modality framework (PMCM) 框架，该框架通过图片分割并拼接，实现了不同模态下人员识别过程中的语义对应，同时在视觉可见光和红外人员重识别任务中取得了最佳表现。

    Feb, 2023

  • 基于视频的可见光与红外人员再识别学习模态不变性和时间记忆

    本研究主要研究基于视频的跨模态人员重新识别方法。通过构建一个视频 RGB-IR 数据集，证明了在 RGB-IR 人员重新识别中，视频到视频的匹配非常重要。此外，还提出了一种新的方法，该方法不仅将两种模态投射到模态不变的子空间中，还提取了时间内存以实现运动不变性。

    Aug, 2022

  • 通过对齐学习：利用跨模态对应关系进行可见光 - 红外人员再识别

    本研究提出了一种新颖的特征学习框架，通过利用密集对应的交叉模态人物图像，像素级地抑制与模态相关的特征，从而更有效地促进交叉模态本地特征的判别式特征学习，从而解决了可见 - 红外人物重识别的问题。

    Aug, 2021

  • RGB - 红外人员再识别中的跨模态配对图像生成

    本研究提出了一种新方法，通过生成跨模态的配对图像并进行全局和细粒度实例级别的对齐，使 RGB-IR Re-ID 的性能得到改善，实验证明该方法在两个标准基准测试中表现优于现有的最新技术。

    Feb, 2020

  • 可见 - 红外视频人物再识别的对抗自攻击防御和时空关系挖掘

    本文提出一种新的可见 - 红外视频人物再识别方法，从对抗性自攻击防御和时空关系挖掘的新角度解决了跨模态行人身份匹配的问题。同时，通过激活输入样本中包含的干扰信息来引入对抗性干扰，将对抗攻击和防御集成到一个框架中，并提出了一个以空间 - 时间信息引导的特征表示网络来提取更加稳健的特征。在大规模跨模态视频数据集上，该方法表现出了很好的性能。

    Jul, 2023