MMSep, 2022

学会先观察：通过学习一致的跨模态共同流形来改善基于文本的人员检索

PDF
TL;DR以 LBUL 算法为例，该文研究如何解决文本 - 图像跨模态数据不一致的问题，通过考虑视觉和文本模态的分布特征，实现更加可靠的跨模态分布一致性，从而实现更优秀的文本 - 图像跨模态检索准确率。
发现论文，激发创造
  • 文本人物搜索的跨模态特征校准

    本文提出一种基于文本的人物搜索的新颖有效方法，使用双编码器和分离的跨模态解码器架构，采用两种新的损失来提供细粒度的跨模态特征，并在 CUHK-PEDES，ICFG-PEDES 和 RSTPReID 等三个流行基准测试中创造了排名前三的成绩。

    Apr, 2023

  • CPCL：跨模态原型对比学习弱监督的基于文本的人员再识别

    提出了一种基于弱监督的文本驱动的人物重识别方法，使用跨模态原型对比学习和多模态记忆模块来改善检索性能。

    Jan, 2024

  • 学习文本人物搜索的语义对齐特征表示

    本文提出了一种基于语义对齐的嵌入方法，采用多头注意力模块和特征聚合网络进行特征对齐，以实现对于文本描述的行人图像搜索，并在 CUHK-PEDES 和 Flickr30K 数据集上取得了最先进的性能。

    Dec, 2021

  • 以精细化理解带来更丰富的视野：基于隐含模态对文本人物检索的对齐

    本研究提出了一种隐式视觉 - 文本框架，通过多级和双向遮罩建模方法实现跨模态匹配，提高了人物的文本检索效果。

    Aug, 2022

  • 跨模型兼容性的统一表示学习

    本研究提出一种统一的表示学习框架，解决了在视觉搜索应用中交叉模型兼容性（CMC）问题，通过引入轻量级的 RBT 模块和新的训练方案来优化嵌入空间，该方案在各种具有挑战性的视觉搜索情景下，包括面部识别和个人重新识别，均优于先前的方法。

    Aug, 2020

  • TIPCB：一种简单而有效的基于部件的卷积基线用于基于文本的人员搜索

    本论文提出一种基于端到端学习的文字搜索人物图像的框架，命名为 TIPCB，采用新颖的双路局部匹配网络结构并提出多阶段的跨模态匹配策略，消除了低层、局部层和全局层三个特征层次上的模态差距，实现了对 CUHK-PEDES 数据集精准的 Top-1、Top-5 和 Top-10 搜索结果，优于当前最先进的方法。

    May, 2021

  • 释放文本的想象力：通过探索文字的力量实现文本到图像的人员检索的新框架

    提出了一种用于文本到图像人物检索的新框架，旨在充分发掘句子中的词语力量。通过使用预训练的全 CLIP 模型作为图像和文本的双编码器，以及引入文本引导的图像恢复辅助任务和针对难样本的交叉模态三元组损失，该方法在三个流行的基准数据集上取得了最先进的结果。

    Jul, 2023

  • Med-UniC：通过减少偏差，统一跨语言医学视觉语言预训练

    Med-UniC 是一种用于统一跨语言医疗视觉语言预训练的框架，通过使用 CTR 方法对多模式医疗数据进行处理，解决了语言、文化及隐含知识等方面的问题，减轻了社区偏见并取得了优异的成果。

    May, 2023

  • 基于文本的有限数据人物搜索

    本文提出了一种框架，利用跨模态动量对比学习和转移学习方法，来解决限定数据所带来的问题，进一步提高了图像库中针对性描述查询的效率，并在 CUHK-PEDES 数据集上达到了新的最高表现。

    Oct, 2021

  • 从文本角度探究跨模态语义对齐能力

    本文提出了一种基于图像字幕生成的新型探测方法，用于研究视觉语言预训练模型中跨模态语义对齐的内部机制，发现 VLP 模型对齐的主要是对象和视觉词，忽略了全局语义，还存在固定的句子模式，无视语法和流畅性等问题。

    Oct, 2022