MMOct, 2023

基于更丰富自我学习的文本至图像人物重识别中的综合表示学习

PDF
TL;DR基于多对多匹配和多视角信息的文本到图像的个体重识别，并使用 LCR^2S 框架提出了一个轻量级模型用于推理时进行语义关联和多视角信息推理，以实现准确的文本到图像检索。
text-to-image person re-identificationmany-to-many matchinglcr^2s frameworkmulti-view informationtext-to-image retrieval
发现论文，激发创造
  • 文本到图像的人物重识别的噪声一致化学习

    提出了一种用于文本到图像的人物再识别的鲁棒双重嵌入方法 (RDE)，能够学习到在存在噪音对应的情况下的可靠的视觉语义关联。

    Aug, 2023

  • 利用 MLLM 的能力进行可迁移的文本到图像人物再识别

    通过使用多模态大型语言模型，本文提出了一种用于人物图像重新识别的文本到图像转换方法，通过生成各种模板的描述来构建大规模数据集，同时使用相似性判断方法处理不准确的描述，从而显著提升直接转换的文本到图像人物重新识别性能。

    May, 2024

  • 文本到图像的跨模态隐含关系推理和对齐的人物检索

    研究了跨模态对齐的图像检索问题，提出了一种 IRRA 框架，并在三个公共数据集上获得了优于现有方法的最新成果。

    Mar, 2023

  • 基于混合服装状态的生涯式人员再识别的图像 - 文本 - 图像知识传输

    基于 $Teata$ 框架，提出一种考虑混合服饰情况的终身个体重识别任务（LReID-Hybrid），通过结构语义提示学习和知识适应与投影策略来解决知识粒度和表示的不匹配问题。实验证明，所提出的方法在 LReID-Hybrid 和传统 LReID 基准上具有优势。

    May, 2024

  • 基于 CLIP 的细粒度文本图像人员再识别

    提出了一种基于 CLIP 驱动的细粒度信息挖掘框架 (CFine)，旨在为 TIReID 提供强大的多模态知识，通过细粒度信息挖掘，建立跨模态对齐，并在多个基准测试上显示了其优越的性能。

    Oct, 2022

  • MLLMReID: 基于多模态大型语言模型的人员再识别

    这篇论文提出了一种名为 MLLMReID 的多模态大型语言模型，通过细调和指导学习的方式来优化人员再识别任务，并通过实验证明了其优越性。

    Jan, 2024

  • 从多模态信息指导中学习可转移的行人表示

    本文提出了一种学习可迁移表示以增强各种行人分析任务的新框架 VAL-PAT，并介绍了三个学习目标：自监督对比学习、图像文本对比学习和多属性分类。该框架在无标签人员图像的预训练下实现了良好的性能，并扩展到各种行人分析任务。

    Apr, 2023

  • 无训练的零样本组合图像检索和本地概念重新排序

    本文提出了一种新的基于零样本训练的无需训练的组合图像检索方法 (TFCIR)，通过将查询翻译成易于理解的文本，提高计算效率并保持模型的泛化性。此外，引入了局部概念再排序机制 (LCR) 来聚焦于从修改指令中提取的有区别的局部信息。在三个 ZS-CIR 基准测试上的大量实验证明了该方法在开放领域数据集 CIRR、CIRCO 以及时尚领域数据集 FashionIQ 上实现了与最先进方法相当的性能，并明显优于其他无需训练的方法。

    Dec, 2023

  • 视觉和语言的人物再识别

    我们提出了一种新的人员再识别方法，使用图像和自然语言描述的联合视觉和语言模型，相比属性和 LSTM，使用自然语言描述和 CNN 可以显著提高标准 Re-ID 基准测试的性能。

    Oct, 2017

  • 使用文本驱动的软掩膜进行多模态表征学习

    提出了一个自我监督学习框架中的视觉语言表示学习方法，引入了一种新的操作、损失和数据增强策略，其中将图像中最相关于对应的标题中某个单词的区域进行软掩蔽以生成多样的图像特征，然后通过多模态编码器计算出每个单词的条件视觉注意力来确定与其相关的区域，提出了一个用于图像文本对比学习（ITC）目标的焦点损失，并进行多模态数据增强以进行自我监督学习。

    Apr, 2023