Nov, 2022

通过文本特征可解释嵌入和外部攻击节点插入进行人物文本 - 图像匹配

PDF
TL;DR该研究提出了一种人物文本 - 图像匹配方法，它通过嵌入文本特征可解释性和外部攻击节点，采用图卷积作为特征表示的基本框架，并模拟了文本和图像多样性对特征提取的对抗攻击和防御来提高模型的鲁棒性，从而有效解决了现有方法面临的挑战。
person text-image matchinginterpretabilityadversarial attackgraph convolutionrobust features
发现论文，激发创造
  • 学习文本人物搜索的语义对齐特征表示

    本文提出了一种基于语义对齐的嵌入方法，采用多头注意力模块和特征聚合网络进行特征对齐，以实现对于文本描述的行人图像搜索，并在 CUHK-PEDES 和 Flickr30K 数据集上取得了最先进的性能。

    Dec, 2021

  • 渐进特征挖掘与外部知识辅助的文本行人图像检索

    该论文提出了一种渐进特征挖掘和外部知识辅助特征净化方法，用于解决文本 - 行人图像检索中的文本多样性和模态差异问题，实验证明该方法的有效性和优越性。

    Aug, 2023

  • TIPCB：一种简单而有效的基于部件的卷积基线用于基于文本的人员搜索

    本论文提出一种基于端到端学习的文字搜索人物图像的框架，命名为 TIPCB，采用新颖的双路局部匹配网络结构并提出多阶段的跨模态匹配策略，消除了低层、局部层和全局层三个特征层次上的模态差距，实现了对 CUHK-PEDES 数据集精准的 Top-1、Top-5 和 Top-10 搜索结果，优于当前最先进的方法。

    May, 2021

  • 基于文本的人物搜索中的图像特定信息抑制和隐式局部对齐

    本论文提出了一种有效的联合信息和语义对齐网络 (ISANet) 用于文本驱动的人物搜索，该网络能够准确定位和对齐图像和文本之间的信息，并能够适应性地聚合图像和文本特征以实现本地细粒度对应关系和全局对齐，并在多个数据库上取得了优越的性能。

    Aug, 2022

  • 对抗表示学习用于文本到图像匹配

    本文提出了一种基于 TIMAM 和 BERT 的文本图像匹配模型，该模型可以学习到模态不变的特征表示，在四个公开数据集上取得了最优的交叉模态匹配性能，排名 1 的准确率提高了 2％到 5％。

    Aug, 2019

  • 文本 - 图像语义自对齐网络用于部位感知的人员再识别

    本文提出了一种语义自对齐网络 (SSAN)，旨在解决文本到图像中的人物再识别 (text-to-image person re-identification) 中的问题。SSAN 使用一个新颖的手段 —— 自动从两种模态提取语义对齐的部分级特征，并通过设计一个多视角非局部网络来捕捉身体部分之间的关系，从而建立更好的身体部位和名词短语之间的对应关系。此外， SSAN 还引入了一种 Compound Ranking (CR) loss，利用同一身份的其他图像的文本描述提供额外的监督，从而有效地降低文本特征的类内差异。经过广泛的实验，证明了该方法在性能上优于现有的最先进方法和一些高级算法，并提供了新的 ICFG-PEDES 数据集和 SSAN 代码。

    Jul, 2021

  • 带有实例损失的双路径卷积图像 - 文本嵌入

    本文提出了一种新的系统，以区分性地嵌入图像和文本到共享的视觉 - 文本空间，通过实例损失和端到端学习的双路径卷积网络来解决图像和文本匹配问题，并在 Flickr 30k 和 MSCOCO 上达到了与最先进方法相当的准确度，同时在基于语言的人员检索中取得了很大的改进。

    Nov, 2017

  • 基于聚类的图像 - 文本图匹配模型桥接领域差距

    通过融合图像和文本的多模态图形表示，我们通过考虑图像和文本描述符之间内在的语义结构得到领域不变的关键嵌入，从而实现领域泛化问题中的域不变特征学习。我们的模型在 CUB-DG 和 DomainBed 等大规模公共数据集上实验，取得了与或更好于这些数据集上的最新性能。

    Oct, 2023

  • 面向文本属性的隐式模态对齐的人物搜索

    通过 Attribute-Aware Implicit Modality Alignment (AIMA) 框架，使用 CLIP 模型及 Attribute-IoU Guided Intra-Modal Contrastive (A-IoU IMC) Loss，实现了文本属性人物搜索中文本属性与图像之间的对齐和表示匹配，进一步优化了语义排列。

    Jun, 2024

  • ViTAA: 自然语言下的人物搜索中，视觉 - 文本属性对齐

    本文提出一种基于属性对齐的视觉 - 文本对齐方法 (ViTAA)，通过较轻的属性分割计算模块分离人物特征空间并使用对比学习损失函数对视觉和文本属性进行对齐，从而成功提升了自然语言下的人物搜索和属性 - 短语查询任务的表现，实现了最先进的结果。

    May, 2020