AAAIDec, 2023

基于属性的多提示学习与跨模态对齐的人员再识别

PDF
TL;DR使用生成的多个人属性作为提示来辅助更准确的 ReID 检索结果的潜力，我们提出了一种名为 Multi-Prompts ReID（MP-ReID）的新框架，基于提示学习和语言模型，充分利用精细属性来辅助 ReID 任务。实验证明了该解决方案的有效性和合理性。
fine-grained attribute descriptionsperson re-identificationmulti-prompts reidprompt learninglanguage models
发现论文，激发创造
  • 增强可见 - 红外人体重新识别：模态和实例感知视觉提示学习

    可见 - 红外人员重新识别的关键是利用模态感知和实例感知的视觉提示网络，建立在 Transformer 架构上，利用模态特定提示和个体特定提示以提高鉴别能力，并在 SYSU-MM01 和 RegDB 数据集上验证了其有效性。

    Jun, 2024

  • 通过多粒度图像文本对齐 提高基于描述的人员再识别

    本文提出了一个 Multi-granularity Image-text Alignments (MIA) 模型，用于减轻描述基础人物的 Re-id 中的跨模态细粒度问题，以进行更好的相似度评估。实验表明，该方法在 CUHK-PEDES 数据集上取得了最先进的性能，并且实现了显着优于以往方法的效果。

    Jun, 2019

  • 视觉 - 语言模型的多模态特征提示

    我们提出了一种多模态属性提示方法（MAP），通过同时探索文本属性提示、视觉属性提示和属性级对齐来解决大规模预训练视觉 - 语言模型（VLMs）在少样本情况下的一些局限性，实验结果表明我们的方法在 11 个数据集上表现优于现有方法。

    Mar, 2024

  • 面向文本属性的隐式模态对齐的人物搜索

    通过 Attribute-Aware Implicit Modality Alignment (AIMA) 框架，使用 CLIP 模型及 Attribute-IoU Guided Intra-Modal Contrastive (A-IoU IMC) Loss，实现了文本属性人物搜索中文本属性与图像之间的对齐和表示匹配，进一步优化了语义排列。

    Jun, 2024

  • 多场景人员再识别的通用框架

    学习多场景条件下处理 ReID 任务的有效多功能 ReID 模型，无需在推理阶段手动分配场景标签。

    Mar, 2024

  • 从多模态信息指导中学习可转移的行人表示

    本文提出了一种学习可迁移表示以增强各种行人分析任务的新框架 VAL-PAT，并介绍了三个学习目标：自监督对比学习、图像文本对比学习和多属性分类。该框架在无标签人员图像的预训练下实现了良好的性能，并扩展到各种行人分析任务。

    Apr, 2023

  • 探索基于部分信息的视觉 - 语言学习在人物再识别中的应用

    最近，视觉语言学习在增强基于视觉的人物再识别方面展示了巨大的潜力。本文提出了一种名为 Part-Informed Visual-language Learning (π-VL) 的方法，通过在 ReID 任务中利用部分信息语言监督来增强细粒度的视觉特征，该方法在四个常用的 ReID 基准测试中取得了显著的改进，特别是在最具挑战性的 MSMT17 数据库中达到了 90.3% 的 Rank-1 和 76.5% 的 mAP，而无需任何额外的技术手段。

    Aug, 2023

  • 多提示与深度分割的跨模态学习

    本研究提出了分区多模态提示方法（PMPO），将软提示从单个可学习提示扩展到多个提示，以捕获视觉表示的分层上下文深度。此外，我们结合手动设计的模板和可学习的多提示，以提高方法的泛化能力，并在新类别概括、跨数据集评估和领域泛化等三项具有挑战性的任务上验证了它的有效性。

    May, 2023

  • 无监督跨数据集人员再识别的多任务中层特征对齐网络

    本研究提出了一种多任务中间特征对齐网络（MMFA）来解决无监督跨数据集人员再识别任务的问题，该网络采用中间语义属性，通过交叉数据集中间特征对齐正则化项进行联合优化，取得了比现有方法更好的性能。

    Jul, 2018

  • Instruct-ReID++: 通向通用用途的指导人物再识别

    该研究提出了一种新的 instruct-ReID 任务，通过给定的图像或语言指令，模型可以检索图像；提出了一个大规模 OmniReID++ 基准，配备了各种数据和综合评估方法；介绍了基于自适应三元组损失的 IRM 基线模型和基于存储器辅助学习的 IRM++ 方法，在多个测试集上实现了最先进的性能。

    May, 2024