Mar, 2022

利用加性注意力组合学习的图像搜索与文本反馈

PDF
TL;DR该研究提出了一种称为 AACL 的方法，它基于多模式 Transformer 结构，可用于有效地检索类似于给定源图像的目标图像并且满足所提供的修改。在多项实验中，AACL 均实现了最新的最佳结果。
image retrievaltext feedbackmulti-modal querytransformer-based architecturestate-of-the-art
发现论文，激发创造
  • 图像检索中的图像 - 文本查询组合学习

    本文研究了基于多模态（图像 - 文本）查询的图像检索问题，提出了自编码器模型 ComposeAE，采用深度度量学习方法学习了推动源图像和文本查询组成更接近目标图像的度量，并在 MIT-States、Fashion200k 和 FashionIQ 三个基准数据集上优于当前最先进的 TIRG 方法。

    Jun, 2020

  • 针对多模态文本和图像数据的情感反馈合成

    本文提出了一种情感反馈合成系统，通过使用基于变压器的文本编码器和基于 Faster RCNN 的视觉特征提取器，并将二者进行拼接，构建了多模式特征向量，以此合成带有文本和图像输入的反馈，其结果表明合成的反馈语义上与真实观众的评论相似，且与给定的文本图像输入相关。

    Mar, 2022

  • 基于视觉搜索与文本反馈的模态无关注意力融合

    本研究采用自然语言反馈的图像检索方法，结合图像与文本特征实现细粒度视觉搜索并提出了 MAAF 模型，在 Fashion IQ 和 CSS 数据集中比现有方法表现更优，同时在 Fashion200k 数据集中也取得竞争性表现。此外，我们还提出了两个适用于丰富语言输入的新挑战基准，并通过实验证明该方法在不修改时优于强基线。最后我们在 Fashion IQ 上进行了深入细致的分析和可视化，揭示了单词避免 “关注” 他们所指图像区域的惊人现象

    Jun, 2020

  • 多模态梯度注意力学习用于可解释的组合图像检索

    我们提出了一种基于梯度注意的学习目标，用于解决组合图像检索问题。通过引入新的注意力计算技术和学习目标，我们展示了对图像区域进行更准确的定位和改进，并通过标准基准数据集显示了更好的可解释性和竞争性的定量检索性能。

    Aug, 2023

  • 交互式机器学习：图像字幕生成

    本文提出了一种交互式学习的图像标题生成模型，该模型使用数据增强方法来扩大人类反馈所提供的有效学习信息，并智能地将其集成到模型中，本文重点讨论了其反馈收集、数据增强和模型更新三个关键组件的实现方法。

    Feb, 2022

  • 图像检索中的文本与图像构成 - 实证之旅

    本文提出了一种基于图像和文本相结合的检索方法，利用相似度度量、嵌入式学习以及组合函数对目标图像进行了描述，并在三种不同数据集上进行了验证，证明了该方法在输入查询分类和图像检索方面的有效性。

    Dec, 2018

  • 多模态可学习查询用于图像美学评估

    利用多模式学习查询 (MMLQ) 从多模式预训练特征中提取与美学相关的特征，实验结果表明其在多模式图像美学评估方面取得了新的最优性能，SRCC 和 PLCC 分别超过先前方法 7.7% 和 8.3%。

    May, 2024

  • 使用对比学习和面向任务的 CLIP 特征的组合图像检索

    利用 OpenAI CLIP 模型中的视觉和文本特征进行任务细化微调，然后通过训练 Combiner 网络来整合双模态信息，并提供用于检索的组合特征，结果表明这种方法在复合图像检索方面优于当前先进方法。

    Aug, 2023

  • AMC：基于注意力的多模态相关学习用于图像搜索

    本文提出了一种基于注意力机制的多模式关联（AMC）学习方法，该方法可以使图像检索受益于可用的丰富模式信息，进而提高检索结果的排序准确性。

    Apr, 2017

  • 合成情感控制的多模态文本和图像数据的反馈

    通过构建一个大规模的、可控制的多模态反馈合成（CMFeed）数据集，我们提出了一个可控制的反馈合成系统，该系统能够生成文本和图像输入的感情控制反馈，通过使用 transformer 和 Faster R-CNN 网络提取文本和图像特征，并结合它们来生成反馈；该系统还通过基于排名的度量标准实施相似性模块来评估反馈的相关性，并使用解释性技术分析在生成无控制和可控制的反馈过程中文本和图像特征的贡献。

    Feb, 2024