Jun, 2024

面向文本属性的隐式模态对齐的人物搜索

PDF
TL;DR通过 Attribute-Aware Implicit Modality Alignment (AIMA) 框架，使用 CLIP 模型及 Attribute-IoU Guided Intra-Modal Contrastive (A-IoU IMC) Loss，实现了文本属性人物搜索中文本属性与图像之间的对齐和表示匹配，进一步优化了语义排列。
发现论文，激发创造
  • 以精细化理解带来更丰富的视野：基于隐含模态对文本人物检索的对齐

    本研究提出了一种隐式视觉 - 文本框架，通过多级和双向遮罩建模方法实现跨模态匹配，提高了人物的文本检索效果。

    Aug, 2022

  • 搜索中的多意图属性感知文本匹配

    通过多意图建模、属性感知编码和意图感知匹配等方法，我们提出了多意图属性感知匹配模型，旨在探索文本匹配系统中属性的有效性，以提高搜索查询与候选项的匹配效果。

    Feb, 2024

  • 文本到图像的跨模态隐含关系推理和对齐的人物检索

    研究了跨模态对齐的图像检索问题，提出了一种 IRRA 框架，并在三个公共数据集上获得了优于现有方法的最新成果。

    Mar, 2023

  • ViTAA: 自然语言下的人物搜索中，视觉 - 文本属性对齐

    本文提出一种基于属性对齐的视觉 - 文本对齐方法 (ViTAA)，通过较轻的属性分割计算模块分离人物特征空间并使用对比学习损失函数对视觉和文本属性进行对齐，从而成功提升了自然语言下的人物搜索和属性 - 短语查询任务的表现，实现了最先进的结果。

    May, 2020

  • 视觉 - 语言模型的多模态特征提示

    我们提出了一种多模态属性提示方法（MAP），通过同时探索文本属性提示、视觉属性提示和属性级对齐来解决大规模预训练视觉 - 语言模型（VLMs）在少样本情况下的一些局限性，实验结果表明我们的方法在 11 个数据集上表现优于现有方法。

    Mar, 2024

  • 走向统一的基于文本的人员检索：一个大规模多属性和语言搜索基准

    本文提出了名为 MALS 的大型文本人物检索数据集，探讨了在属性识别和图像文本匹配任务上进行预训练的可行性，并使用 APTM 框架进行验证，取得了 3 个现实世界基准测试的最新检索表现。

    Jun, 2023

  • 基于属性的多提示学习与跨模态对齐的人员再识别

    使用生成的多个人属性作为提示来辅助更准确的 ReID 检索结果的潜力，我们提出了一种名为 Multi-Prompts ReID（MP-ReID）的新框架，基于提示学习和语言模型，充分利用精细属性来辅助 ReID 任务。实验证明了该解决方案的有效性和合理性。

    Dec, 2023

  • 多模态命名实体识别的图像文本对齐

    本文提出了一种基于图像与文本对齐的多模态命名实体识别技术，通过将图像特征与文本信息在文本空间中对齐，将两者之间的交互作用结合在一起，以此提高命名实体识别的准确性。

    Dec, 2021

  • 对抗表示学习用于文本到图像匹配

    本文提出了一种基于 TIMAM 和 BERT 的文本图像匹配模型，该模型可以学习到模态不变的特征表示，在四个公开数据集上取得了最优的交叉模态匹配性能，排名 1 的准确率提高了 2％到 5％。

    Aug, 2019

  • 学习文本人物搜索的语义对齐特征表示

    本文提出了一种基于语义对齐的嵌入方法，采用多头注意力模块和特征聚合网络进行特征对齐，以实现对于文本描述的行人图像搜索，并在 CUHK-PEDES 和 Flickr30K 数据集上取得了最先进的性能。

    Dec, 2021