Apr, 2023

学习鲁棒的视觉语义嵌入，实现通用的人员再识别

PDF
TL;DR该论文提出了一种叫做 MMET 的多模态等价 Transformer，可用于更加鲁棒的视觉 - 语义嵌入学习和人物重新识别，同时还引入了一种动态的遮罩机制，叫做 MMM，它可以加强其他模态的特征学习，从而提高性能。
person re-identificationgeneralizationmultimodal transformerfeature learningvisual-semantic representation
发现论文，激发创造
  • 学习渐进式多模态共享的转换器以实现有效的可见 - 红外人员重识别

    本文提出了一种名为 PMT 的深度学习框架，它采用渐进式共享模态转换器来解决 VI-ReID 任务中复杂的模态变化问题，并对模态共享特征进行可靠度和共性分析；同时提出了一种 Discriminative Center Loss (DCL)，结合 Modality-Shared Enhancement Loss (MSEL) 来缓解大内部差异和小类间差异问题，从而更好地区分共享特征，该框架在 SYSU-MM01 和 RegDB 数据集上的表现优于现有的大多数最新状态 - of-the-art 方法。

    Dec, 2022

  • 自适应聚合的模拟嵌入：学习可推广的人员再识别

    本研究提出了一种称为通过自适应集成的 Mimic Embedding (META) 的新方法，该方法利用多个领域特定的网络和实例归一化技术来处理动态 ReID 中的 DG ReID 问题，并成功超越了现有该领域的先进技术。

    Dec, 2021

  • MLLMReID: 基于多模态大型语言模型的人员再识别

    这篇论文提出了一种名为 MLLMReID 的多模态大型语言模型，通过细调和指导学习的方式来优化人员再识别任务，并通过实验证明了其优越性。

    Jan, 2024

  • 面向人员再识别的语义对齐表示学习

    本论文提出了一种通过细致的监督设计，驱动重新识别网络学习语义对齐特征表示的框架，其中包括了一个带编码器（SA-Enc）的 Semantics Aligning Network (SAN) 用于重新识别，以及一个解码器（SA-Dec）用于重建 / 回归密集语义对齐全纹理图像，并在三元组 ReID 约束下增加感知损失，以确保推断的计算效率。该设计取得了基准数据集 CUHK03，Market1501，MSMT17 和部分人物重新 ID 数据集 Partial REID 等的最佳表现。

    May, 2019

  • 基于视频的可见光与红外人员再识别学习模态不变性和时间记忆

    本研究主要研究基于视频的跨模态人员重新识别方法。通过构建一个视频 RGB-IR 数据集，证明了在 RGB-IR 人员重新识别中，视频到视频的匹配非常重要。此外，还提出了一种新的方法，该方法不仅将两种模态投射到模态不变的子空间中，还提取了时间内存以实现运动不变性。

    Aug, 2022

  • 利用 MLLM 的能力进行可迁移的文本到图像人物再识别

    通过使用多模态大型语言模型，本文提出了一种用于人物图像重新识别的文本到图像转换方法，通过生成各种模板的描述来构建大规模数据集，同时使用相似性判断方法处理不准确的描述，从而显著提升直接转换的文本到图像人物重新识别性能。

    May, 2024

  • 人员重识别的联合判别和生成学习

    本文提出了一个联合学习框架，将 Re-ID 学习和数据生成端到端地耦合在一起，通过生成高质量的跨 ID 组合图像来提高鉴别模块的性能，该框架在多个基准数据集上达到了最先进的性能表现。

    Apr, 2019

  • 半监督域通用人物再识别

    本研究旨在探索利用多个标记数据集来学习通用的域不变表示，以适用于每个新的人重新识别场景。通过开发 DataHunter 来搜集 YouTube-Human 和其他标注数据集，本文提出了一个简单但有效的半监督知识蒸馏框架，并在 FastHuman 基准测试上证明了所提出的框架的有效性，可与目标领域上的监督学习相媲美。同时，研究者希望该基准测试能够带来领域可推广的人重新识别算法的下一步发展。

    Aug, 2021

  • 通过对齐学习：利用跨模态对应关系进行可见光 - 红外人员再识别

    本研究提出了一种新颖的特征学习框架，通过利用密集对应的交叉模态人物图像，像素级地抑制与模态相关的特征，从而更有效地促进交叉模态本地特征的判别式特征学习，从而解决了可见 - 红外人物重识别的问题。

    Aug, 2021

  • 可见光 - 红外人物重新识别的补丁混合交叉模态学习

    本文提出了 Patch-Mixed Cross-Modality framework (PMCM) 框架，该框架通过图片分割并拼接，实现了不同模态下人员识别过程中的语义对应，同时在视觉可见光和红外人员重识别任务中取得了最佳表现。

    Feb, 2023