Mar, 2024

跨域图像检索的多模态方法

PDF
TL;DR使用多模态语言 - 视觉架构的新颖标题匹配方法能够在跨域图像检索中实现最先进的性能表现，尤其在与人工智能生成的图像一起进行测试时。
image generatorscross-domain image retrievalgenerative modelsmultimodal language-vision architecturesai-generated images
发现论文，激发创造
  • 基于检索引导的无监督多领域图像到图像翻译

    本文提出使用图像检索系统辅助图像翻译，从而生成更高质量的图片，实验结果表明该方案是有效的。

    Aug, 2020

  • SynCDR: 用合成数据训练跨领域检索模型

    在跨领域检索中，我们提出了一种简单的解决方案，通过图像之间的保留类别的翻译，在不共享训练数据的情况下生成合成数据，从而提高跨领域检索模型的准确性。

    Dec, 2023

  • 大型多模态模型的视觉增量生成器用于半监督组合图像检索

    我们提出了一种新的半监督图像检索方法，通过在辅助数据中搜索参考图像及其相关目标图像，并学习基于大型语言模型的视觉差异生成器（VDG），以生成描述两个图像之间视觉差异（即视觉增量）的文本。VDG 具备流畅的语言知识和模型无关性，能够生成伪三元组来提升组合图像检索模型的性能。我们的方法显著改进了现有的监督学习方法，并在组合图像检索基准测试中取得了最先进的结果。

    Apr, 2024

  • 使用预训练的视觉语言模型在现实生活图像上进行图像检索

    本研究提出了一个基于 Transformers 的模型 CIRPLANT，使用人类自然语言条件进行直观特征的修改，并结合最近邻方法实现图像的检索，实验结果表明该模型在开放域图像检索中具有很好的性能。

    Aug, 2021

  • 通过生成模型改进文本 - 视觉交叉检索：观察、想象和匹配

    本文提出一种新的跨模态检索方法，利用生成式模型学习多模态数据的全局和本地特征，从而在 MSCOCO 数据集上实现了最先进的跨模态检索结果。

    Nov, 2017

  • 无监督跨域图像检索的特征表示学习

    本文探讨无监督的跨域图像检索任务，提出了基于类簇对比学习和距离 - 距离损失的方法，无需外部监督，在 Office-Home 和 DomainNet 数据集上实验结果表明，我们的方法优于现有最先进方法。

    Jul, 2022

  • 统一的文本到图像生成和检索

    研究中，我们提出了一个统一框架，以多模态大型语言模型（MLLMs）为背景，探索了文本到图像生成和检索之间的关系，并引入了一种生成检索方法，在无需训练的情况下进行检索。我们还构建了一个基准测试集 TIGeR-Bench 以标准化统一的文本到图像生成和检索方法的评估，并在 TIGeR-Bench 以及两个检索基准测试集 Flickr30K 和 MS-COCO 上进行了大量实验，证明了我们提出方法的优越性和效果。

    Jun, 2024

  • 生成跨模态检索：以检索和超越为目的的多模态语言模型中的图像记忆

    构建在生成式语言模型基础上的多模态大型语言模型（MLLMs）拥有记忆和重新召回图像能力，介绍了一种基于生成式跨模态检索框架的方法，通过将图像存储在 MLLMs 中以实现记忆功能，并有效地进行跨模态检索。

    Feb, 2024

  • 无监督多领域多模态图像到图像转换与显式领域约束解耦

    本文提出了一个使用无成对训练数据和单个网络同时训练不同域的多个数据集来学习生成多样化输出的统一框架，并研究了如何更好地提取域监督信息以学习更好的分离表征和实现更好的图像翻译的方法。实验表明，所提出的方法优于或与最先进的方法相当。

    Nov, 2019

  • 基于跨模态相似性的课程学习在图像描述中的应用

    该研究提出一种基于跨模态相似性的难度度量方法，用于图像字幕生成模型的训练，并在 COCO 和 Flickr30k 数据集上验证了其有效性，证明其在难样本和未见数据上表现出较高的泛化能力。

    Dec, 2022