ACLJun, 2024

大型语言模型下的交互式文本图像检索：一种即插即用方法

PDF
TL;DR该论文主要关注互动式文本图像检索任务中对话形式的上下文查询问题。PlugIR 方法利用 LLMs 的一般指令遵循能力以两种方式解决了这个问题。该方法不仅提出了一种新颖的评估指标 BRI，还展示了在各种基准测试中优于零射击和微调基准线的优越性能。
发现论文，激发创造
  • 利用大型语言模型和视觉语言模型增强交互式图像检索的查询重写

    我们提出了一种互动式图像检索系统，结合了视觉语言模型和大型语言模型，通过用户反馈迭代改进查询，并利用无噪声的查询扩展提高检索准确性，在评估中获得了 10% 的召回率改善。

    Apr, 2024

  • 多模式 LLMs 中的反向图像检索提示参数记忆

    使用 Reverse Image Retrieval（RIR）辅助生成的简单而有效的策略，对于 GPT-4 系列等最先进的多模态大型语言模型（MLLM）来说，RIR 显著提高了知识密集型的视觉问答性能，通过开放式 VQA 评估指标，GPT-4V 提高 37-43％，GPT-4 Turbo 提高 25-27％，GPT-4o 提高 18-20％。

    May, 2024

  • 大型语言模型在信息检索中的应用：综述

    信息检索系统和大型语言模型的融合，包括关键方面，如查询重写、检索、重新排序和阅读器，在这一快速发展的研究领域中提供全面的概述和深入的见解。

    Aug, 2023

  • 基于对话的交互式图像检索

    介绍了一种新的交互式图像检索方法，该方法允许用户通过自然语言提供反馈，形成了一个基于强化学习的对话系统，用于提高目标图像的排名，该方法在鞋类检索应用中表现出更好的准确性和更有效的检索结果。

    May, 2018

  • 统一的文本到图像生成和检索

    研究中，我们提出了一个统一框架，以多模态大型语言模型（MLLMs）为背景，探索了文本到图像生成和检索之间的关系，并引入了一种生成检索方法，在无需训练的情况下进行检索。我们还构建了一个基准测试集 TIGeR-Bench 以标准化统一的文本到图像生成和检索方法的评估，并在 TIGeR-Bench 以及两个检索基准测试集 Flickr30K 和 MS-COCO 上进行了大量实验，证明了我们提出方法的优越性和效果。

    Jun, 2024

  • 通过大型语言模型重定义结构化数据库的信息检索

    本文介绍了一种名为 ChatLR 的新型检索增强框架，主要利用大型语言模型（LLMs）的强大语义理解能力作为检索器，以实现精确和简洁的信息检索。通过在金融领域微调 LLM 并构建基于 LLM 的搜索和问答系统，实验证明 ChatLR 在解决用户查询中表现出高达 98.8％的信息检索准确性。

    May, 2024

  • MrRank：通过多结果排名模型提升问答检索系统

    使用学习排序技术结合不同的信息检索系统，解决大型语言模型中幻觉和过时信息的问题，提高检索问题回答任务的性能，并在 SQuAD 数据集上取得了最先进的结果。

    Jun, 2024

  • 聊天达到完美 -- 基于聊天的图像检索

    本文介绍了一种基于聊天式对话系统的图像检索方法，使用大型语言模型生成对用户问题的跟进问题，在对用户的意图进行澄清后，从一个较大的图像库中检索目标图像，并在多次对话中显著提高了图像检索成功率。

    May, 2023

  • 语言引导的局部渗透用于交互式图像检索

    提出使用语言引导的本地渗透系统模块，包括语言提示视觉定位模块和带有本地感知的文本渗透模块，用于精确修改引用图像并生成图像 - 文本滤入表示。实验结果表明，我们的方法优于大部分最先进的交互图像检索方法。

    Apr, 2023

  • REPLUG: 检索增强的黑盒语言模型

    该论文提出了 REPLUG—— 一种检索增强的语言模型框架，通过可调节的检索模型增强 LM 模型。实验结果表明，通过 tuned 检索器，REPLUG 可以显著提高 GPT-3（175B）和 Codex 在语言建模和五 shot MMLU 任务上的性能。

    Jan, 2023