SIGIRApr, 2023

可学习的基于支柱的图像 - 文本重排序

PDF
TL;DR本文提出了一种新的可学习的基于框架的重新排序范式，该范式可以捕捉图片和文本之间的邻居关系，提高单模态检索任务的性能。实验结果表明，该范例具有很好的鲁棒性和推广性能力，并且可以在不同的基础模型上取得很好的效果。
image-text retrievalre-rankingmodality gapmultimodal pillar spaceneighbor relations
发现论文，激发创造
  • 保持语义领域对稳健跨模态检索的影响

    本篇研究提出了一种方法，使用特定的 loss 函数，在保持图像和文本子空间内的语义连贯性的同时鼓励它们之间的语义协同，并改进了基线模型，以实现跨模态检索。

    Jul, 2020

  • 文本到图像的跨模态隐含关系推理和对齐的人物检索

    研究了跨模态对齐的图像检索问题，提出了一种 IRRA 框架，并在三个公共数据集上获得了优于现有方法的最新成果。

    Mar, 2023

  • 快速检索、智能重新排名：协作和联合方法改进跨模态检索

    本文提出了一种基于 fine-tuning 的框架，将任何预先训练的文本 - 图像多模态模型转换为高效的检索模型，并通过 cooperative retrieve-and-rerank 方法结合双网络和交叉编码器，实现更准确、更高效的跨模态检索。

    Mar, 2021

  • 多模态张量融合和重新排序的图像和文本匹配

    我们提出了一个新的框架，使用基于排名的张量融合来显式学习准确的图像文本相似度函数，通过通用的跨模态重新排序方案实现了模型效果和模型复杂性之间的平衡，从而达到了优秀的匹配性能。

    Aug, 2019

  • 重新审视跨模态检索

    本文提出了一种交叉模态检索系统，利用图像和文本编码，实现了同时检索模态的功能，避免了需要为每个模态使用不同网络的缺点。在所使用的知识中，本文是第一篇采用单一网络和融合的图像 - 文本嵌入进行跨模态检索的工作。在 MS-COCO 和 Flickr30K 两个著名的多模态数据集上对该方法进行了评估。

    Jul, 2018

  • 理解、分类和预测语义图像 - 文本关系

    本文借鉴视觉传达研究，探究了多模式信息检索的有用语义图像 - 文本关系，在自动收集和扩充数据资源的基础上，采用深度学习系统和三种度量标准（跨模态互信息、语义相关性和图像与文本的状态关系）对八种语义图像 - 文本类别进行了预测，并在一个严格的测试集上展示了该方法的可行性。

    Jun, 2019

  • Hire: 多关系增强的图片文字匹配的混合模态交互

    我们提出了一种具有多重关系增强的混合模态交互（称为 Hire）的图像文本匹配方法，通过内外模态语义相关性的关联来改善物体和文本的上下文表示，进而获得更好的图像文本匹配结果。

    Jun, 2024

  • 跨模态图像 - 文本联合嵌入的网络监督检索

    文章提出了利用网络图像及对应标签实现鲁棒视觉 - 语义联合嵌入学习的方法，通过在有限的训练数据中引入弱标注的网络图像能够取得比当前最先进方法更显著的图像 - 文本检索性能提升。

    Aug, 2018

  • 通过生成模型改进文本 - 视觉交叉检索：观察、想象和匹配

    本文提出一种新的跨模态检索方法，利用生成式模型学习多模态数据的全局和本地特征，从而在 MSCOCO 数据集上实现了最先进的跨模态检索结果。

    Nov, 2017

  • 跨模态系统是否利用语义关系？

    该论文提出一种新的语义相似度评估指标 SemanticMap 来评估跨模态检索系统的性能，并且提出了基于单流网络的新型跨模态检索系统，该系统使用深度神经网络训练，并在 MSCOCO 和 Flickr30K 数据集上进行了评估。

    Sep, 2019