Jun, 2024

RE-AdaptIR: 逆向工程的改进信息检索适应性

PDF
TL;DR通过使用未标记的数据，我们研究了倒向工程适应信息检索 (RE-AdaptIR) 的有效性，以改进只使用未标记数据的基于大语言模型的信息检索 (LLM-based IR) 模型， 并且展示了在培训领域和未见过查询的领域中性能的改善。
large language modelstext-retrievalinformation retrievalreverse engineered adaptationunlabeled data
发现论文，激发创造
  • RE-Adapt: 大型语言模型的逆向工程适应

    通过逆向设计适配器，我们介绍了 RE-Adapt 方法，该方法无需使用额外的数据或训练，可以在新域上对基础模型进行微调，并借助逆向设计的适配器重新适应指令跟踪，以优于其他微调方法。

    May, 2024

  • 何时检索：教导 LLMs 有效利用信息检索

    本文介绍了如何使用大型语言模型（LLMs）有效地学习使用现成的信息检索系统来回答问题时所需的附加上下文。通过在 PopQA 数据集上进行评估，我们展示了 Adapt-LLM 在使用所有问题的信息检索、仅使用 LLM 的参数存储器以及使用人气阈值来决定何时使用检索程序三种配置下，相比相同 LLM 的改进。通过我们的分析，我们证明了当 Adapt-LLM 确定无法回答问题时，它能生成 <RET> 标记，表明需要进行信息检索，同时当只依赖参数存储器时，其达到明显高的准确率水平。

    Apr, 2024

  • 神经信息检索的无监督领域自适应

    比较了使用大型语言模型生成查询和基于规则的方法进行合成注释来进行神经信息检索，结果表明大型语言模型在所有情景中的性能优于基于规则的方法，而无监督领域适应相对于零样本方式应用监督信息检索系统是有效的。

    Oct, 2023

  • 为高效、个性化信息检索调整语言模型的方法与影响

    大型语言模型（LLMs）在信息检索方面的优化、模型幻觉、用户隐私等关键问题的研究。

    Nov, 2023

  • UDAPDR：基于 LLM 加速的无监督域自适应及 Reranker 蒸馏方法

    通过使用大型语言模型 (LLMs) 生成大量合成的查询，可以在不使用大量标记的数据的情况下，有效地优化实现信息检索任务，同时消除因为领域的转变而导致真实世界应用效力降低的问题。

    Mar, 2023

  • 在检索增强生成框架中使用经过微调的大型语言模型进行关系抽取

    Fine-tuned large language models integrated into the Retrieval-Augmented-based approach demonstrate exceptional performance in identifying implicit relations, surpassing previous results on SemEVAL and achieving substantial gains on TACRED, TACREV, and Re-TACRED datasets.

    Jun, 2024

  • 大型语言模型的领域自适应重构为适应 - 检索 - 修订

    通过适应、检索和修订的过程，这篇论文介绍了一个简单而有效的领域适应框架，将大型语言模型 GPT-4 应用到特定领域的内容生成，以增加准确性和避免内容幻觉。

    Oct, 2023

  • 自我检索：运用一种大型语言模型构建信息检索系统

    本文提出了自助检索 (Self-Retrieval) 的一种端到端、以大型语言模型为驱动的信息检索架构，能够充分内化信息检索系统所需的能力到一个单一的大型语言模型，深度利用语言模型在信息检索过程中的能力。实验结果表明，自助检索不仅在很大程度上优于以前的检索方法，还能显著提升以大型语言模型为驱动的下游应用，例如检索增强生成。

    Feb, 2024

  • 信息检索与大型语言模型结合：中国信息检索社区的战略报告

    信息检索领域，自传统搜索开始已经发展得非常成熟，并且扩展到满足用户不同的信息需求。最近，大型语言模型在文本理解、生成和知识推理方面表现出了异常的能力，为信息检索研究打开了令人兴奋的新方向。大型语言模型不仅有助于生成式检索，还为用户理解、模型评估和用户系统交互提供了改进的解决方案。最重要的是，信息检索模型、大型语言模型和人类之间的相互作用形成了一个更强大的信息搜索技术范式。信息检索模型提供实时和相关的信息，大型语言模型提供内部知识，而人类在信息服务的可靠性方面起到了需求者和评估者的核心角色。然而，仍然存在一些重大挑战，包括计算成本、可信度问题、特定领域限制和伦理考虑。为了深入讨论大型语言模型对信息检索研究的变革性影响，中国信息检索界于 2023 年 4 月举办了一次战略研讨会，得出了有价值的见解。本文总结了研讨会的成果，包括对信息检索核心价值的重新思考、大型语言模型和信息检索的相互增强、一个新的信息检索技术范式的提出以及面临的挑战。

    Jul, 2023

  • 大型语言模型在信息检索中的应用：综述

    信息检索系统和大型语言模型的融合，包括关键方面，如查询重写、检索、重新排序和阅读器，在这一快速发展的研究领域中提供全面的概述和深入的见解。

    Aug, 2023