ACLMay, 2021

学习关系对准以进行校准的跨模态检索

PDF
TL;DR本论文提出一种新的 Intra-modal Self-attention Distance（ISD）度量方法和 Inter-modal Alignment on Intra-modal Self-attentions（IAIS）正则化训练方法，旨在通过 ISD 度量语言和视觉关系之间的语义距离并通过 IAIS 进行交叉训练，从而提高 Flickr30k 和 MS COCO 数据集中的跨模态检索性能。
cross-modal retrievalsemantic gaplinguistic relationvisual relationself-attention distance
发现论文，激发创造
  • 文本到图像的跨模态隐含关系推理和对齐的人物检索

    研究了跨模态对齐的图像检索问题，提出了一种 IRRA 框架，并在三个公共数据集上获得了优于现有方法的最新成果。

    Mar, 2023

  • 跨模态注意力一致性正则化用于视觉语言关系对齐

    通过跨模态注意力实现多模态视觉语言模型中的关系级对齐，进而改进现有最优方法并克服了标准测评指标中的组合泛化困境。

    Dec, 2022

  • 使用图形注意力学习图像文本匹配的双重语义关系

    本文提出了一种名为双重语义关系注意力网络 (DSRAN) 的新型图注意力方法，该方法主要由两个模块组成，分别进行不同层次的语义关系学习，从而提高图像文本匹配的准确性，并在 MS-COCO 和 Flickr30K 数据集上取得了显著优于以往方法的效果。

    Oct, 2020

  • 保持语义领域对稳健跨模态检索的影响

    本篇研究提出了一种方法，使用特定的 loss 函数，在保持图像和文本子空间内的语义连贯性的同时鼓励它们之间的语义协同，并改进了基线模型，以实现跨模态检索。

    Jul, 2020

  • 可学习的基于支柱的图像 - 文本重排序

    本文提出了一种新的可学习的基于框架的重新排序范式，该范式可以捕捉图片和文本之间的邻居关系，提高单模态检索任务的性能。实验结果表明，该范例具有很好的鲁棒性和推广性能力，并且可以在不同的基础模型上取得很好的效果。

    Apr, 2023

  • 面向快速准确的图像文本检索与自监督细粒度对齐

    在这项工作中，我们在独立嵌入框架之上提出了一个图像 - 文本对齐模块 SelfAlign，通过自监督对比学习在概念级和语境级强制进行图像 - 文本对齐，提高了检索准确性同时保持了检索效率。

    Aug, 2023

  • QS-Attn: 基于查询选择的注意力机制用于 I2I 翻译的对比学习

    本文提出了一种基于查询选择注意机制（QS-Attn）的自监督对比学习方法，针对目前随机筛选特征点的问题，选择具有显著性的锚点进行对比损失，同时利用减小的注意力矩阵来实现特征点的路由，从而保持源域中的特征关系。在三个不同的 I2I 数据集中验证了该方法的有效性。

    Mar, 2022

  • 学习多模态语义对齐模型以进行故事可视化

    在 GAN 生成模型中学习文本和图像表示之间的语义对齐以缓解文本图像语义不匹配问题，进而生成连贯、高质量的多句故事可视化。

    Nov, 2022

  • 文本到图像的跨模态自适应双重关联

    本文提出了 CADA：交叉模态自适应双向关联机制，通过文本到图像和图像到文本的双向关联来实现文本到图像的人物再识别，实验证明了该双向关联机制的优越性。

    Dec, 2023

  • 深度视觉语义对齐生成图像描述

    本文介绍了一个基于卷积神经网络、双向递归神经网络和多模态嵌入的模型，用于生成图像及其区域的自然语言描述，并展示了在多个数据集上，该模型的对齐模型均优于基准检索结果，生成的描述显著优于检索结果和基准。

    Dec, 2014