Aug, 2023

探索基于部分信息的视觉 - 语言学习在人物再识别中的应用

PDF
TL;DR最近，视觉语言学习在增强基于视觉的人物再识别方面展示了巨大的潜力。本文提出了一种名为 Part-Informed Visual-language Learning (π-VL) 的方法，通过在 ReID 任务中利用部分信息语言监督来增强细粒度的视觉特征，该方法在四个常用的 ReID 基准测试中取得了显著的改进，特别是在最具挑战性的 MSMT17 数据库中达到了 90.3% 的 Rank-1 和 76.5% 的 mAP，而无需任何额外的技术手段。
visual-language learningperson re-identificationfine-grained part featurespart-informed language supervisionidentity labels
发现论文，激发创造
  • 通过全局和本地图像 - 语言关联改进个体重新识别的深度视觉表示

    本研究提出了一种利用自然语言描述作为附加训练监督的方法来有效地学习视觉特征。通过建立全局和局部图像 - 语言关联来实现语义一致性，该方法不仅能够学习更好的全局视觉特征，还能够强制对局部视觉和语言特征进行语义一致性的限制，从而实现了对于特定个体较为紧凑和语义的描述。在实验中，我们证明了语言作为训练监督在两种关联方案下具有有效性，并且在不使用任何辅助信息的情况下实现了最新的技术性能，比其他图像 - 语言交互的联合嵌入方法表现更出色。

    Aug, 2018

  • 感知焦点：学习可见性感知的部位特征，用于局部人员重新识别

    本文提出了一种 Visibility-aware Part Model (VPM)，该方法通过自我监督学习可以感知区域的可见性以提取区域级特征，并专注于两个图像上的共享区域，有助于部分重新识别任务的更高准确度。

    Apr, 2019

  • PiTL：基于提示的弱监督视觉语言预训练的跨模态检索

    本文提出了一种利用大型语言模型从图像中生成标签以进行虚实预训练，减少了对昂贵标注数据的需求，并在图片文字检索方面得到显著的效果提升。

    Jul, 2023

  • PVLR：基于提示的视觉语言表示学习用于多标签图像识别

    在这篇论文中，我们提出了一种 Prompt-driven Visual-Linguistic Representation Learning（PVLR）框架，通过双提示策略和交互融合模块，更好地利用了语言模型的能力，以提高多标签图像识别的性能。实验证明了 PVLR 的卓越性能。

    Jan, 2024

  • 人物再识别的人类语义分析

    本论文旨在提高人物再识别的性能。与常见的检测局部特征的方法不同，我们提出采用人类语义分析来提取局部特征，相应的性能得到了大幅提升，并成为了当前最优方法。此外，我们展示了通过简单且有效的训练策略可以使标准的卷积神经网络方法，如 Inception-V3 和 ResNet-152，无需修改即可显著提高人物再识别的性能。

    Mar, 2018

  • 通过对齐学习：利用跨模态对应关系进行可见光 - 红外人员再识别

    本研究提出了一种新颖的特征学习框架，通过利用密集对应的交叉模态人物图像，像素级地抑制与模态相关的特征，从而更有效地促进交叉模态本地特征的判别式特征学习，从而解决了可见 - 红外人物重识别的问题。

    Aug, 2021

  • 基于典型对比学习的 CLIP 微调方法用于物体重新识别

    這項研究旨在將大規模預先訓練的視覺語言模型，如對比語言 - 圖像預訓練（CLIP），適應各種監督設置下物體再識別（Re-ID）的表現提升。在本研究中，我們首先分析了 CLIP-ReID 中 prompt learning 的作用並確認了其限制。基於我們的調查，我們提出了一種簡單而有效的方法，通過使用原型對比學習（PCL）損失直接微調 CLIP 的圖像編碼器，從而消除了 prompt learning 的需要。在人物和車輛 Re-ID 數據集上的實驗結果證明了我們的方法與 CLIP-ReID 的競爭力。此外，我們將基於 PCL 的 CLIP 微調方法擴展到無監督場景，達到了最新的表現。

    Oct, 2023

  • 基于属性的多提示学习与跨模态对齐的人员再识别

    使用生成的多个人属性作为提示来辅助更准确的 ReID 检索结果的潜力，我们提出了一种名为 Multi-Prompts ReID（MP-ReID）的新框架，基于提示学习和语言模型，充分利用精细属性来辅助 ReID 任务。实验证明了该解决方案的有效性和合理性。

    Dec, 2023

  • PLIP: 人物表示学习的语言图像预训练

    该研究提出了一种新的预训练框架用于人物表征学习，名为 PLIP，其中包括三个预文本任务：图像着色、属性预测和视觉 - 语言匹配，在一个新的大规模人物数据集 SYNTH-PEDES 上对其进行了评估并取得了优于先前方法的效果。

    May, 2023

  • 基于邻居引导标签优化的协同学习无监督可见 - 红外人员再识别

    本文介绍了一种多模态学习方法，称为 Dual Optimal Transport Label Assignment（DOTLA）框架，用于学习无标签跨模态数据集中的多模态特征。同时，本文还介绍了一种基于跨模态邻域一致性的标签完善和正规化模块，以提高模型的准确性。实验结果表明该方法优于现有的各种无监督和监督方法。

    May, 2023