MMSep, 2022

CAIBC：面向基于文本的人物检索捕获除颜色外的全方位信息

PDF
TL;DR本文提出了一种通过多支架构和相互学习机制来解决色彩过度依赖问题的综合检索方法 ——CAIBC，该方法在着名数据集上进行了实验，达到了最先进的性能水平。
text-based person retrievalcolor over-reliance problemmulti-branch architecturemutual learning mechanismstate-of-the-art performance
发现论文，激发创造
  • 释放文本的想象力：通过探索文字的力量实现文本到图像的人员检索的新框架

    提出了一种用于文本到图像人物检索的新框架，旨在充分发掘句子中的词语力量。通过使用预训练的全 CLIP 模型作为图像和文本的双编码器，以及引入文本引导的图像恢复辅助任务和针对难样本的交叉模态三元组损失，该方法在三个流行的基准数据集上取得了最先进的结果。

    Jul, 2023

  • 视觉和语言的人物再识别

    我们提出了一种新的人员再识别方法，使用图像和自然语言描述的联合视觉和语言模型，相比属性和 LSTM，使用自然语言描述和 CNN 可以显著提高标准 Re-ID 基准测试的性能。

    Oct, 2017

  • CaLa: 补充关联学习增强组合图像检索

    该论文提出了一种综合了图像和文本之间多种关系的方法，通过使用基于对齐机制和互补思考策略的框架，提高了复杂图像检索的性能。

    May, 2024

  • 检索任何人：一项带指导的通用人员再识别任务

    本文提出了一种新的人物 ReID 任务，即 instruct-ReID，该任务要求根据给定的图像或语言指令检索图像，提出了一个基于大规模 OmniReID 基准数据集和自适应三元组损失的基线方法来促进在这个新场景下的研究，实验结果表明，基于该 benchmark 训练的基线模型可以提高市场 1501 和 CUHK03 的传统 ReID 上的 mAP，各种衣服变化 ReID 上的 mAP，并在语言指导的 ReID 上进一步提高。

    Jun, 2023

  • CVPR 2023 第一届基础模型挑战赛 - Track2 的解决方案

    本文提出了一种解决跨模态交通检索问题的方法，将问题分为行人检索和车辆检索两个子任务，并分别采用 IRRA 和 BLIP 作为基础模型，同时引入属性分类和基于属性的目标检测技术来增强图像和文本之间的对齐，取得了 70.9 的排名。

    Mar, 2024

  • 基于更丰富自我学习的文本至图像人物重识别中的综合表示学习

    基于多对多匹配和多视角信息的文本到图像的个体重识别，并使用 LCR^2S 框架提出了一个轻量级模型用于推理时进行语义关联和多视角信息推理，以实现准确的文本到图像检索。

    Oct, 2023

  • 基于 CLIP 的细粒度文本图像人员再识别

    提出了一种基于 CLIP 驱动的细粒度信息挖掘框架 (CFine)，旨在为 TIReID 提供强大的多模态知识，通过细粒度信息挖掘，建立跨模态对齐，并在多个基准测试上显示了其优越的性能。

    Oct, 2022

  • 文本到图像的跨模态隐含关系推理和对齐的人物检索

    研究了跨模态对齐的图像检索问题，提出了一种 IRRA 框架，并在三个公共数据集上获得了优于现有方法的最新成果。

    Mar, 2023

  • 面向多模态视觉语言模型生成非通用文本

    本文主要介绍了一种将人名加入生成文本的新方法，通过使用 OCR 识别图像中的文字并 fine-tuning 预训练模型，我们的方法在生成文本的时候自然地加入了人名信息。为了达到这个目的，我们修改了之前的多模态框架，接受来自任意数量的辅助分类器提供的相关信息。同时，我们创建了一个新的图像 - 标题数据集，名为 PAC，这个数据集包含了一些知名人物的图像和对这些图像的描述，这些描述中包含了人名。

    Jul, 2022

  • 文本到图像的跨模态自适应双重关联

    本文提出了 CADA：交叉模态自适应双向关联机制，通过文本到图像和图像到文本的双向关联来实现文本到图像的人物再识别，实验证明了该双向关联机制的优越性。

    Dec, 2023