Apr, 2023

文本人物搜索的跨模态特征校准

PDF
TL;DR本文提出一种基于文本的人物搜索的新颖有效方法，使用双编码器和分离的跨模态解码器架构，采用两种新的损失来提供细粒度的跨模态特征，并在 CUHK-PEDES，ICFG-PEDES 和 RSTPReID 等三个流行基准测试中创造了排名前三的成绩。
person searchcross-modal featuresdual-encodersew lossmcm loss
发现论文，激发创造
  • 学习文本人物搜索的语义对齐特征表示

    本文提出了一种基于语义对齐的嵌入方法，采用多头注意力模块和特征聚合网络进行特征对齐，以实现对于文本描述的行人图像搜索，并在 CUHK-PEDES 和 Flickr30K 数据集上取得了最先进的性能。

    Dec, 2021

  • 多模态语义理解与对比跨模态特征对齐

    本篇研究提出了一种基于 CLIP 引导的对比学习的架构，用于执行多模态特征对齐，将来自不同模态的特征投影到一个统一的深度空间，实验结果表明，我们提出的模型在多模态讽刺检测和多模态情感分析任务中明显优于多个基准模型，我们的特征对齐策略相对于其他聚合方法和甚至富含知识的模型也带来了明显的性能增益，此外，我们的模型实现简单，无需使用特定任务的外部知识，因此可以轻松迁移到其他多模态任务。

    Mar, 2024

  • AXM-Net：人员重新识别的隐式跨模态特征对齐

    本研究提出了一种基于卷积神经网络的新型架构，用于学习语义对齐的跨模态视觉和文本表示，其以 AXM-Block 作为基本构建块，动态地利用两种模态的多尺度知识，并根据共享语义重新校准每种模态。该框架利用文本数据作为视觉表示学习的超级注释信号，能够有效地学习模态之间的对齐语义，自动拒绝不相关信息，并在 CUHK-PEDES 数据集上表现出较高性能。

    Jan, 2021

  • 使用文本驱动的软掩膜进行多模态表征学习

    提出了一个自我监督学习框架中的视觉语言表示学习方法，引入了一种新的操作、损失和数据增强策略，其中将图像中最相关于对应的标题中某个单词的区域进行软掩蔽以生成多样的图像特征，然后通过多模态编码器计算出每个单词的条件视觉注意力来确定与其相关的区域，提出了一个用于图像文本对比学习（ITC）目标的焦点损失，并进行多模态数据增强以进行自我监督学习。

    Apr, 2023

  • 超越预训练目标检测器：图像字幕生成中的跨模态文本和视觉语境

    本文提出了一种通过添加辅助输入以表示缺失信息（例如物体关系）来改进视觉描述模型的方法，并使用来自 Visual Genome 数据集的属性和关系对该模型进行调整。在图像标题生成实验中，该方法取得了良好的表现。

    May, 2022

  • TIPCB：一种简单而有效的基于部件的卷积基线用于基于文本的人员搜索

    本论文提出一种基于端到端学习的文字搜索人物图像的框架，命名为 TIPCB，采用新颖的双路局部匹配网络结构并提出多阶段的跨模态匹配策略，消除了低层、局部层和全局层三个特征层次上的模态差距，实现了对 CUHK-PEDES 数据集精准的 Top-1、Top-5 和 Top-10 搜索结果，优于当前最先进的方法。

    May, 2021

  • 重新审视跨模态检索

    本文提出了一种交叉模态检索系统，利用图像和文本编码，实现了同时检索模态的功能，避免了需要为每个模态使用不同网络的缺点。在所使用的知识中，本文是第一篇采用单一网络和融合的图像 - 文本嵌入进行跨模态检索的工作。在 MS-COCO 和 Flickr30K 两个著名的多模态数据集上对该方法进行了评估。

    Jul, 2018

  • 以精细化理解带来更丰富的视野：基于隐含模态对文本人物检索的对齐

    本研究提出了一种隐式视觉 - 文本框架，通过多级和双向遮罩建模方法实现跨模态匹配，提高了人物的文本检索效果。

    Aug, 2022

  • CPCL：跨模态原型对比学习弱监督的基于文本的人员再识别

    提出了一种基于弱监督的文本驱动的人物重识别方法，使用跨模态原型对比学习和多模态记忆模块来改善检索性能。

    Jan, 2024

  • 快速检索、智能重新排名：协作和联合方法改进跨模态检索

    本文提出了一种基于 fine-tuning 的框架，将任何预先训练的文本 - 图像多模态模型转换为高效的检索模型，并通过 cooperative retrieve-and-rerank 方法结合双网络和交叉编码器，实现更准确、更高效的跨模态检索。

    Mar, 2021