CVPRApr, 2017

AMC：基于注意力的多模态相关学习用于图像搜索

PDF
TL;DR本文提出了一种基于注意力机制的多模式关联（AMC）学习方法，该方法可以使图像检索受益于可用的丰富模式信息，进而提高检索结果的排序准确性。
image searchmulti-modal correlationattention mechanismintra-attention networkinter-attention network
发现论文，激发创造
  • 基于集成自注意力相互学习的文档图像分类网络

    该论文提出了一种使用自注意力融合模块与互相学习方法来进行文档图像分类的新模型， 在单模态和多模态数据集上均优于当前最先进技术。

    May, 2023

  • 多模态梯度注意力学习用于可解释的组合图像检索

    我们提出了一种基于梯度注意的学习目标，用于解决组合图像检索问题。通过引入新的注意力计算技术和学习目标，我们展示了对图像区域进行更准确的定位和改进，并通过标准基准数据集显示了更好的可解释性和竞争性的定量检索性能。

    Aug, 2023

  • LILE: 使用 Transformer 的双重注意力网络进行组织病理学资料检索前深入查看

    提出了一种使用自注意力作为额外损失项的新架构，以在联合潜在空间中表示图像和文本；在 MS-COCO 和 ARCH 两个基准数据集上进行的实验结果表明，该方法具有很好的效果。

    Mar, 2022

  • 多模式统一关注网络用于视觉语言交互

    本研究提出了一种统一的注意力模型，能够同时捕捉多模态特征的内部和跨模态之间的相互作用，并输出相应的注意力表示。通过堆叠这样的统一注意力块，我们获得了深度多模态统一注意力网络 (MUAN)，可以无缝地应用于视觉问答 (VQA) 和视觉定位任务。通过在两个 VQA 数据集和三个视觉定位数据集上评估 MUAN 模型，结果表明 MUAN 在两个任务上都实现了顶级性能。

    Aug, 2019

  • 基于注意力机制的多模态数据顺序推荐系统

    提出了一种基于多模态数据的关注机制的序列推荐方法，该方法利用图像、文字和类别等多模态数据，利用 attention 操作和多任务学习损失，提高了推荐系统的性能。

    May, 2024

  • 条件图像匹配的协同关注

    提出了一种新的方法来确定自然环境下图像对之间的对应关系，在大的光照变化、视角变化、语境和材料下进行。该方法引入了一种空间注意力机制和一个独特性得分，能够改善对这些因素变化下的对应关系的检测，并在许多任务中实现了最先进或具有竞争力的结果。

    Jul, 2020

  • 利用加性注意力组合学习的图像搜索与文本反馈

    该研究提出了一种称为 AACL 的方法，它基于多模式 Transformer 结构，可用于有效地检索类似于给定源图像的目标图像并且满足所提供的修改。在多项实验中，AACL 均实现了最新的最佳结果。

    Mar, 2022

  • 通过鼓励一致的基于梯度解释来改善视觉定位

    Attention Mask Consistency 是一种基于边缘的损失函数，在视觉语言模型预训练中作用使得梯度基础的解释与区域级别注释保持一致，并且比依赖于明确训练对象检测器的区域级注释的模型产生更优秀的视觉定位性能。

    Jun, 2022

  • 多视角关注的图像文本匹配

    提出了一个针对两流图像 - 文本匹配的多视图注意力方法（MVAM），通过多样的注意头学习多个图像和文本表示，并将这些表示连接起来进行匹配，以实现更好的匹配性能和更全面的表示。

    Feb, 2024

  • 基于视觉搜索与文本反馈的模态无关注意力融合

    本研究采用自然语言反馈的图像检索方法，结合图像与文本特征实现细粒度视觉搜索并提出了 MAAF 模型，在 Fashion IQ 和 CSS 数据集中比现有方法表现更优，同时在 Fashion200k 数据集中也取得竞争性表现。此外，我们还提出了两个适用于丰富语言输入的新挑战基准，并通过实验证明该方法在不修改时优于强基线。最后我们在 Fashion IQ 上进行了深入细致的分析和可视化，揭示了单词避免 “关注” 他们所指图像区域的惊人现象

    Jun, 2020