ICCVSep, 2023

基于伪造文本的统一预训练技术用于文本 - 图像人物重识别

PDF
TL;DR该论文介绍了一种面向文本到图像人物重识别任务的统一预训练方法 (UniPT)，通过构建大规模的文本标注人物数据集、使用视觉 - 语言预训练框架来对齐图像和文本模态的特征空间，解决了数据不一致性和训练不一致性的问题。UniPT 在多个数据集上取得了有竞争力的准确率。
pre-trainingtext-to-image person re-identificationdata inconsistencytraining inconsistencyunified pre-training pipeline
发现论文，激发创造
  • 文本与图像人物再识别的提示解耦

    这篇论文主要研究了使用文本描述查询来进行图像中的人物重识别，并提出了一种两阶段训练方法，通过解耦域适应和任务适应的过程来改善性能。

    Jan, 2024

  • 释放文本的想象力：通过探索文字的力量实现文本到图像的人员检索的新框架

    提出了一种用于文本到图像人物检索的新框架，旨在充分发掘句子中的词语力量。通过使用预训练的全 CLIP 模型作为图像和文本的双编码器，以及引入文本引导的图像恢复辅助任务和针对难样本的交叉模态三元组损失，该方法在三个流行的基准数据集上取得了最先进的结果。

    Jul, 2023

  • 无监督预训练用于个体再识别

    本文介绍了一个名为 LUPerson 的大规模未标记人物重识别数据集，并尝试进行无监督预训练来提高学习到的人物 Re-ID 特征表示的泛化能力，探究了数据增强和对比损失等方面对学习 Re-ID 特征的关键因素，其使用预训练模型可以获得在现有数据集上的最先进结果。

    Dec, 2020

  • PLIP: 人物表示学习的语言图像预训练

    该研究提出了一种新的预训练框架用于人物表征学习，名为 PLIP，其中包括三个预文本任务：图像着色、属性预测和视觉 - 语言匹配，在一个新的大规模人物数据集 SYNTH-PEDES 上对其进行了评估并取得了优于先前方法的效果。

    May, 2023

  • 通过人内标识规范化释放无监督预训练的潜力，用于个体重新识别

    本文设计了一个基于对比学习管道的无监督预训练框架 UP-ReID，旨在解决细粒度 ReID 特征学习中的两个关键问题，并介绍了全局一致性和局部补丁之间的内在对比约束，在多个流行的 Re-ID 数据集上进行了广泛的实验，结果表明，我们的 UP-ReID 预训练模型可以显著改进下游 ReID 微调，并实现了最先进的性能。

    Dec, 2021

  • 基于 Transformer 的自监督预训练技术用于人员重新识别

    本篇研究旨在探讨利用数据和模型结构两个角度缩小 Transformer 预训练在 Person Re-Identification 任务中的领域差距。首先利用无标签人员图像预训练 Vision Transformer 来代替通常需要更大规模预训练数据集如 ImageNet-21K 的方法，并用 Catastrophic Forgetting Score 和 ReID-specific module 对领域差距进行缩小。最终成果是在 Market-1501 和 MSMT17 上获得了最先进的性能表现。

    Nov, 2021

  • CPCL：跨模态原型对比学习弱监督的基于文本的人员再识别

    提出了一种基于弱监督的文本驱动的人物重识别方法，使用跨模态原型对比学习和多模态记忆模块来改善检索性能。

    Jan, 2024

  • 从多模态信息指导中学习可转移的行人表示

    本文提出了一种学习可迁移表示以增强各种行人分析任务的新框架 VAL-PAT，并介绍了三个学习目标：自监督对比学习、图像文本对比学习和多属性分类。该框架在无标签人员图像的预训练下实现了良好的性能，并扩展到各种行人分析任务。

    Apr, 2023

  • 分治：混合预训练用于人物搜索

    本文介绍了一个针对人物搜索的混合预训练框架，通过使用子任务数据，利用混合学习范式和任务内对齐模块，在有限资源下减轻了领域差异，在不同协议中实现了显著的模型改进。

    Dec, 2023

  • 语音翻译和识别的统一语音文本预训练

    本文描述了一种使用编码器 - 解码器建模框架来联合预训练语音和文本用于语音翻译和识别的方法，其中包括四个自监督和有监督的子任务以进行跨模态学习，其贡献在于将文本语料库中的语言信息整合到语音预训练中。

    Apr, 2022