Aug, 2023

多模态梯度注意力学习用于可解释的组合图像检索

PDF
TL;DR我们提出了一种基于梯度注意的学习目标，用于解决组合图像检索问题。通过引入新的注意力计算技术和学习目标，我们展示了对图像区域进行更准确的定位和改进，并通过标准基准数据集显示了更好的可解释性和竞争性的定量检索性能。
composed image retrievalglobal featureslocal featuresgradient-attention-based learning objectivevisual attention maps
发现论文，激发创造
  • 利用加性注意力组合学习的图像搜索与文本反馈

    该研究提出了一种称为 AACL 的方法，它基于多模式 Transformer 结构，可用于有效地检索类似于给定源图像的目标图像并且满足所提供的修改。在多项实验中，AACL 均实现了最新的最佳结果。

    Mar, 2022

  • AMC：基于注意力的多模态相关学习用于图像搜索

    本文提出了一种基于注意力机制的多模式关联（AMC）学习方法，该方法可以使图像检索受益于可用的丰富模式信息，进而提高检索结果的排序准确性。

    Apr, 2017

  • 基于场景文本的细粒度图像分类与检索的多模态推理图

    本文采用图卷积网络结合场景文本实例和显著图像区域进行多模态推理，在 Con-Text 和 Drink Bottle 数据集中，在细粒度图像分类和图像检索任务中显著优于之前的最新技术。

    Sep, 2020

  • 多模机器翻译中的 Gumbel-Attention

    本研究提出一种新的 Gumbel-Attention 多模机器翻译模型，通过对图像特征进行选择，保留与文本相关的信息，进而提高多模机器翻译模型的翻译质量。

    Mar, 2021

  • 视觉对话的颗粒多模态注意力网络

    本研究提出了一种新的方法，即颗粒多模态注意力，以解决视觉对话任务时需要关注的正确颗粒度的问题。该方法在图像和文本关注网络中得到了改进，并提出了一种粒度多模态注意力网络，可以同时关注图像和文本颗粒，并展现出最佳的性能。该研究发现，获得颗粒注意力和进行穷尽的多模态注意力似乎是解决视觉对话问题时最好的方法。

    Oct, 2019

  • 基于多头注意力的多元化地位学习跨语言多模态表示

    本文提出了一种基于视觉物体检测和不同文本语义的多语言多模态表示的模型，采用多头注意力机制对两种语言的文本语义和视觉对象进行细粒度对齐，从而学习到更好的视觉 - 语义嵌入空间，并在多个任务上展现了比其他方法更显著的性能提升。

    Sep, 2019

  • 图像检索中的图像 - 文本查询组合学习

    本文研究了基于多模态（图像 - 文本）查询的图像检索问题，提出了自编码器模型 ComposeAE，采用深度度量学习方法学习了推动源图像和文本查询组成更接近目标图像的度量，并在 MIT-States、Fashion200k 和 FashionIQ 三个基准数据集上优于当前最先进的 TIRG 方法。

    Jun, 2020

  • 探索和提取跨模态信息以用于图像字幕生成

    本研究提出基于 Transformer 的全局与局部信息探索与提炼方法，在跨模态视角下探究图像字幕生成，并在 COCO 测试集上取得了 129.3 的 CIDEr 分数。

    Feb, 2020

  • MGIMM：面向属性引导的遥感影像细节描述的多粒度指令多模态模型

    本文提出了一种属性引导的多粒度指令多模型（MGIMM），用于遥感图像的详细描述，并通过在区域级别指导调整实现了多模型的一致性学习。通过多颗粒度的视觉特征，MGIMM 可以充分感知区域级和全局图像信息，利用大语言模型对遥感图像进行全面的描述。实验证明了 MGIMM 的区域 - 属性引导学习方法的有效性。

    Jun, 2024

  • NEUCORE：用于组合图像检索的神经概念推理

    综合图像检索通过结合参考图像和文本修饰器来识别所需的目标图像是一项具有挑战性的任务，需要模型理解视觉和语言模态及其相互作用。本研究提出了一种名为 NEUral COncept REasoning (NEUCORE) 模型，将多模态理解移动到概念级细粒度，学习多模态概念对齐，从而识别与文本修饰器相对应的参考或目标图像的视觉位置。我们的方法，在三个数据集上进行了评估，并取得了最先进的结果。

    Oct, 2023