ICLROct, 2022

朗读增强语言模型

PDF
TL;DR我们提出了一种新的思路，帮助大型语言模型（LLMs）在不从外部语料库检索的情况下生成更准确的事实知识，称为 RECITation-augmented gEneration（RECITE）。 通过利用口述作为中间步骤，RECITE 可以在各种闭书问答（CBQA）任务中实现新的最先进性能。在四个预训练模型（PaLM、UL2、OPT 和 Codex）和三个 CBQA 任务（自然问题、TriviaQA 和 HotpotQA）上进行实验证明了我们提出方法的有效性。
发现论文，激发创造
  • 生成而非检索：大型语言模型是强大的上下文生成器

    本文提出了一种新的方法 GenRead，它使用大型语言模型生成上下文文档来解决开放领域 QA 等知识密集型任务，并且借助基于聚类的提示方法来选择不同的提示从而提高回收率，实验证明相比于传统的检索 - 阅读模型，这种方法有更高的准确性。

    Sep, 2022

  • 面向知识密集任务的统一语言模型：利用外部语料库

    该研究论文介绍了一种统一的语言模型，通过将生成检索、闭书生成和 RAG 有机地结合，利用外部语料库处理各种知识密集型任务。该模型通过引入不同机制实现了有效的检索和生成，并在广泛使用的 KILT 基准测试中展现了出色的性能。

    Feb, 2024

  • 利用大型语言模型和检索加强生成来提高教科书问答任务

    该论文提出了一种利用检索增强生成技术和迁移学习来处理教科书问答中领域外情况的方法，以处理复杂的语境和多模态数据，并改善推理能力。通过对 Llama-2 模型进行监督微调和引入 RAG，我们的架构在非图表多项选择题中相较于基线模型，在验证集上精度提升了 4.12%，在测试集上提升了 9.84%。

    Feb, 2024

  • 序列重要性：构建对话代理的生成 - 检索 - 生成模型

    TREC iKAT 2023 挑战中，本文使用 Generate-Retrieve-Generate 方法，利用大型语言模型（LLMs）进行答案生成与理解，通过 BM25 进行答案连贯性过滤，实现更高的性能表现。

    Nov, 2023

  • 强化信息检索与生成的大型语言模型

    我们提出了一种迭代检索 - 生成的协作框架，该框架可以利用参数化和非参数化知识，帮助找到正确的推理路径，并显著提高大型语言模型的推理能力。实验结果显示我们的方法优于之前的基线模型，在单跳和多跳问答任务上取得了显著的改进。

    Oct, 2023

  • MedREQAL: 通过问答方式检验大型语言模型对医学知识的记忆能力

    近年来，大型语言模型（LLMs）在大文本语料库的预训练过程中展示了令人印象深刻的知识编码能力。本研究通过构建一个新的基于系统评述的数据集，评估了六种 LLMs（如 GPT 和 Mixtral）在医学知识回忆方面的能力，并揭示了此任务的复杂性。

    Jun, 2024

  • 工具呼叫：通过检索增强大型语言模型提升药物咨询

    基于检索增强生成（RAG）的大规模语言模型（LLMs）在医学领域的知识密集型任务中表现出显著的性能提升，着重研究了利用 LLMs 和 RAG 框架回答基于医药数据库的查询问题，并提出了 Distill-Retrieve-Read 框架用于关键字搜索，实验结果证明了该框架在证据检索准确性方面的优势。

    Apr, 2024

  • 评估检索增强型大型语言模型在科学文件推理中的有效性

    本研究通过关键字检索对多种大型语言模型进行评估，发现这些模型在科学文档推理任务中会使用编造的证据来支持预测，利用科学语料库进行预训练无法减轻证据捏造的风险。

    Nov, 2023

  • 基于 LLM 的引文增强生成技术的聊天机器人

    我们提出了一种新颖的后置 extbf {引用增强生成（ extbf {CEG}）} 方法，结合检索论证。与先前的研究不同，我们的方法并不着重于在生成过程中防止幻觉，而是采用后置方式解决这个问题。我们的模型包括一个检索模块，用于搜索与生成内容相关的支持文档，并采用基于自然语言推理的引文生成模块。如果生成内容中的陈述缺乏参考文献，我们的模型可以重复生成回复，直到所有陈述都有引文支持。在各种与幻觉相关的数据集上的实验证明，我们的框架在幻觉检测和回复重构两个基准上优于现有方法。我们的代码和数据集将公开提供。

    Feb, 2024

  • 检索即生成

    我们提出了一种新颖的方法，通过从一系列支持文件中选择上下文相关的短语来生成文本，并使用语言学启发式方法初始化训练阐述，并通过迭代的自我增强来加强训练阐述。实验证明，与标准语言模型相比，我们的模型在各种知识密集型任务上不仅表现出色，而且在开放式文本生成中表现出更高的生成质量。我们的模型在 OpenbookQA 上将准确性从 23.47% 提高到 36.27%，在开放式文本生成中的 MAUVE 得分从 42.61% 提高到 81.58%。值得注意的是，我们的模型在几个检索增强基准中实现了最佳性能和最低延迟。总之，我们断言检索是更准确的生成，并希望我们的工作能够鼓励进一步研究这一新的转变。

    Feb, 2024