May, 2024

远程感知影像的知识感知文本 - 影像检索

PDF
TL;DR通过使用外部知识图谱挖掘相关信息，我们提出了一种适用于遥感图像的知识感知文本 - 图像检索（KTIR）方法，该方法丰富了搜索查询中可用的文本范围，缓解了文本和图像之间的信息差距，实现更好的匹配。实验结果表明，该方法在遥感文本 - 图像检索中表现出优异的检索能力，超越了现有的最先进方法。
image-based retrievalearth observationtext-image retrievalremote sensingknowledge-aware method
发现论文，激发创造
  • 遥感图像的组合检索

    本文介绍了一种应用于遥感的组合图像检索方法，该方法允许通过图像示例和文本描述在大型图像库中进行查询，丰富了对单模态查询（无论是视觉还是文本）的描述能力。我们介绍了一种融合了图像 - 图像和文本 - 图像相似度的新方法，证明了视觉 - 语言模型具有足够的描述能力，无需进一步的学习步骤或训练数据。我们提出了一个新的评估基准，重点关注颜色、上下文、密度、存在性、数量和形状的修改。本工作不仅在此任务中取得了最新的技术成果，同时也填补了遥感图像检索领域的空白。

    May, 2024

  • 基于先验指令的遥感图像 - 文本检索的图像表征学习

    本研究介绍了一种基于先验指导的远程感知图像 - 文本检索学习范式，通过利用先验知识进行自适应学习，设计了 PIR-ITR 框架解决视觉语言理解任务中语义噪声问题。同时，为了进一步改进开放域检索性能，提出了 PIR-CLIP 框架，利用领域特定的 CLIP 模型解决远程感知视觉 - 语言表示中的语义噪声问题。通过综合实验验证，PIR 能够增强视觉和文本表示，并在两个基准数据集 RSICD 和 RSITMD 上优于封闭域和开放域检索的最先进方法。

    May, 2024

  • 图像文本检索：近期研究与发展综述

    本文全面介绍了跨模态图像 - 文本检索的研究进展，包括特征提取、特征对齐、效率优化以及预训练，讨论了一些关键但较少被研究的问题，并对代表性方法进行了精度比较。

    Mar, 2022

  • 基于内容的图像检索的近期进展：文献综述

    本文评估了 2003 年至 2016 年提出的内容检索图像检索算法，并提出了未来研究的几个方向。

    Jun, 2017

  • 多模式 LLMs 中的反向图像检索提示参数记忆

    使用 Reverse Image Retrieval（RIR）辅助生成的简单而有效的策略，对于 GPT-4 系列等最先进的多模态大型语言模型（MLLM）来说，RIR 显著提高了知识密集型的视觉问答性能，通过开放式 VQA 评估指标，GPT-4V 提高 37-43％，GPT-4 Turbo 提高 25-27％，GPT-4o 提高 18-20％。

    May, 2024

  • 混合模态查询下的图像检索渐进式学习

    本论文介绍一种将语音和图像相结合进行图像检索的复杂检索方法，从而需要语义空间学习和跨模态融合，同时提出了自我监督适应权重策略以更好地检索，通过广泛的实验，表明该方法在 Fashion-IQ 和 Shoes 基准数据集上的召回率均比现有方法提高了 24.9％和 9.5％。

    Apr, 2022

  • ARTEMIS：基于注意力机制的文本显式匹配与隐式相似度检索

    该论文通过观察文本到图像和图像到图像检索两者的关系，提出并验证了一种利用特殊关系而不需预训练大型架构等辅助信息，且表现最优秀的基于注意力机制协调图像和自由格式文本修饰符检索的方法。

    Mar, 2022

  • 知识增强的双流零样本合成图像检索

    我们研究了零样本组合图像检索任务，提出了一种知识增强的双流零样本组合图像检索框架（KEDs），该框架通过数据库丰富了伪词令牌，并采用额外的流来对伪词令牌与文本概念进行对齐，从而在细粒度语义中显式地识别出参考图像。大量实验证明，KEDs 优于之前的零样本组合图像检索方法。

    Mar, 2024

  • 统一的文本到图像生成和检索

    研究中，我们提出了一个统一框架，以多模态大型语言模型（MLLMs）为背景，探索了文本到图像生成和检索之间的关系，并引入了一种生成检索方法，在无需训练的情况下进行检索。我们还构建了一个基准测试集 TIGeR-Bench 以标准化统一的文本到图像生成和检索方法的评估，并在 TIGeR-Bench 以及两个检索基准测试集 Flickr30K 和 MS-COCO 上进行了大量实验，证明了我们提出方法的优越性和效果。

    Jun, 2024

  • 多模态查询的端到端知识检索

    本文介绍了一个新的数据集 ReMuQ，针对跨媒体检索的任务，提出了一个直接处理文本和图像输入的 Retriever 模型 `ReViz`，并引入了一个新的预训练任务，实现了对多模态查询的知识检索，并在两个数据集上取得了优秀的检索效果。

    Jun, 2023