Oct, 2023

明确前往方向：使 LLM 成为一个相关、负责任和可信赖的搜索引擎

PDF
TL;DR利用大型语言模型（LLM）的知识构建了一个新的生成检索框架，以提高相关性和直接回答搜索问题的能力，验证生成结果的可靠性和贡献来源的可信度，实现了在 LLM 时代的 “PageRank”。该框架包括生成器、验证器和优化器三个核心模块，分别关注生成可信任的在线来源、验证来源可靠性以及优化不可靠的来源。通过广泛的实验和评估，证明了我们方法在相关性、负责性和可信性上对多种最先进方法的优越性。
large language modelsllminformation retrieval algorithmsgenerative retrieval frameworksource reliability
发现论文，激发创造
  • 为高效、个性化信息检索调整语言模型的方法与影响

    大型语言模型（LLMs）在信息检索方面的优化、模型幻觉、用户隐私等关键问题的研究。

    Nov, 2023

  • LLatrieval: LLM - 验证的检索用于可验证的生成

    本研究提出了 LLatrieval（Large Language Model Verified Retrieval），在此模型中，大型语言模型通过更新检索结果来验证检索到的文档是否能够支持回答问题，从而使语言模型能够通过迭代地向检索提供反馈，以确保检索结果能够充分支持可验证的生成。实验结果表明，我们的方法明显优于广泛的基准，并取得了最新的研究成果。

    Nov, 2023

  • LLM 对相关医学参考文献的引用质量评估框架和分析

    使用大型语言模型（LLMs）回答医学问题，验证其生成的来源的相关性，并开源医学问题和专家注释的数据集以便进行未来评估。

    Feb, 2024

  • 关于 LLMs 的隐含风险评估：关于鲁棒性，一致性和可信度的实证研究

    本研究使用自动化工作流程，对 ChatGPT、LLaMA 和 OPT 等主流 LLM 进行了数百万次查询，得出了 LLM 在稳健性、一致性和可信度方面存在的问题，提出了一种新的关联数据集索引来评估使用 LLM 进行学术评估的可行性。

    May, 2023

  • TrustLLM：大型语言模型的可信性

    介绍了 TrustLLM，这是一个关于 LLM（大型语言模型）信任度的综合研究，包括不同维度的信任度原则、建立的基准、评估和分析主流 LLM 的信任度，以及对开放挑战和未来方向的讨论。

    Jan, 2024

  • 大型语言模型协助人类验证真实性 -- 除非其错得令人信服

    通过与搜索引擎进行对比实验证明，大型语言模型虽然能提高事实核查的效率，但在解释错误的情况下容易让用户过分依赖，因此在高风险环境中不宜将其作为阅读检索内容的可靠替代品。

    Oct, 2023

  • 引航知识海洋：利用 LLM 进行星球级答案检索

    信息检索技术是一个不断发展的领域，这篇论文综述了信息检索技术的演变，重点讨论大型语言模型在传统搜索方法与新兴答案检索范式之间的桥梁作用。借助 GPT-4 等大型语言模型的整合，响应检索和索引领域正在发生范式转变，从而使用户能够更直接地与信息系统进行互动并获得语境相关的回答。通过这一探索，我们希望揭示塑造这一发展历程的技术里程碑及未来可能的方向。

    Feb, 2024

  • 一种用于可靠和透明的文本到查询的 LLM 成熟度模型

    基于大型语言模型（LLM）的可靠性和透明度问题，在法執執法執執执執執警域域中介绍了一个针对文本转查询应用的 LLM 成熟度模型。通过加入除了正确性或准确性以外的维度，该成熟度模型旨在弥补对 LLM 在此类应用中的评估的不足。此外，还提出了一个真实世界的用例，并展示了 QueryIQ，一个由 LLM 驱动的、领域特定的文本转查询助手，以加快用户工作流程并揭示数据中的隐藏关系。

    Feb, 2024

  • 信息检索与大型语言模型结合：中国信息检索社区的战略报告

    信息检索领域，自传统搜索开始已经发展得非常成熟，并且扩展到满足用户不同的信息需求。最近，大型语言模型在文本理解、生成和知识推理方面表现出了异常的能力，为信息检索研究打开了令人兴奋的新方向。大型语言模型不仅有助于生成式检索，还为用户理解、模型评估和用户系统交互提供了改进的解决方案。最重要的是，信息检索模型、大型语言模型和人类之间的相互作用形成了一个更强大的信息搜索技术范式。信息检索模型提供实时和相关的信息，大型语言模型提供内部知识，而人类在信息服务的可靠性方面起到了需求者和评估者的核心角色。然而，仍然存在一些重大挑战，包括计算成本、可信度问题、特定领域限制和伦理考虑。为了深入讨论大型语言模型对信息检索研究的变革性影响，中国信息检索界于 2023 年 4 月举办了一次战略研讨会，得出了有价值的见解。本文总结了研讨会的成果，包括对信息检索核心价值的重新思考、大型语言模型和信息检索的相互增强、一个新的信息检索技术范式的提出以及面临的挑战。

    Jul, 2023

  • 产品搜索的相关判断大型语言模型

    基于 Large Language Models (LLMs) 的技术，通过自动化查询 - 商品对的相关性判断，改善产品搜索的相关性预测精度，对商品搜索的相关判断自动化领域具有重要影响。

    Jun, 2024