Jun, 2024

基于支持度的知识重写用于增强检索的语言建模

PDF
TL;DR通过引入支持性为基础的知识重写（SKR）方法，本文在 Retrieval-augmented language models (RALMs) 的生成过程中优化了知识的支持度，从而提高了最终回应的效果。使用数据筛选和重写优化算法，SKR 在六个知识密集型任务和四个语言模型中展现出卓越性能，并显示比当前的先进通用型语言模型 GPT-4 要更出色。
retrieval-augmented language modelsknowledge rewritingsupportivenessdata curation strategydirect preference optimization
发现论文，激发创造
  • 大语言模型的自我知识引导检索增强

    自我指导的检索增强（SKR）是一种简单而有效的方法，可以使大型语言模型适应性地调用外部资源，通过引用其先前遇到的问题，更好地利用内部知识和外部世界知识，以提高在问题回答等任务上的性能。

    Oct, 2023

  • 检索重构：大规模语言模型推理

    本文提出了一种名为 'rethinking with retrieval' (RR) 的后置处理方法，借助 'chain-of-thought' (CoT) 提示中的分解推理步骤检索相关的外部知识，从而改善大语言模型在常识推理、时间推理和表格推理等方面的性能。

    Dec, 2022

  • 检索增强大型语言模型的查询重写

    该研究介绍了一个新的 Rewrite-Retrieve-Read 框架，该框架从查询重写的角度改进了检索增强方法，并通过强化学习调整该框架的策略模型，通过开放域 QA 等下游任务进行了验证。

    May, 2023

  • 基于检索的知识迁移：一种有效的极端大型语言模型压缩方法

    我们介绍了一种称为 Retrieval-based Knowledge Transfer (RetriKT) 的新型压缩模型的方法，通过从大规模预训练语言模型中提取知识，构建一个知识存储库，小规模模型可以从中检索相关信息并利用它进行有效推理，实验证明该方法显著提升了小规模模型的性能。

    Oct, 2023

  • 从知识图谱中学习为检索增强的大型语言模型规划

    使用来自知识图谱的规划数据，我们介绍了一种增强大型语言模型在复杂问答任务中的性能的新框架，通过使用这些数据对 LLMs 进行微调，提高其规划能力，更好地处理涉及检索的复杂 QA 任务。我们的框架在多个数据集上进行评估，包括我们提出的新基准，突出了其有效性和知识图谱派生规划数据的好处。

    Jun, 2024

  • KELLMRec：知识增强的大型语言模型用于推荐

    利用外部知识辅助大规模语言模型（LLM）在生成真实可用的文本方面具有潜力，因此我们提出了一种名为‘Knowledge-Enhanced LLMRec’的方法，通过使用外部知识在生成过程中，并且通过基于知识的对比学习方案来训练模型，实验证实了该方法的有效性。

    Mar, 2024

  • 强化信息检索与生成的大型语言模型

    我们提出了一种迭代检索 - 生成的协作框架，该框架可以利用参数化和非参数化知识，帮助找到正确的推理路径，并显著提高大型语言模型的推理能力。实验结果显示我们的方法优于之前的基线模型，在单跳和多跳问答任务上取得了显著的改进。

    Oct, 2023

  • 面向知识密集任务的统一语言模型：利用外部语料库

    该研究论文介绍了一种统一的语言模型，通过将生成检索、闭书生成和 RAG 有机地结合，利用外部语料库处理各种知识密集型任务。该模型通过引入不同机制实现了有效的检索和生成，并在广泛使用的 KILT 基准测试中展现了出色的性能。

    Feb, 2024

  • 通过自我完善增强的知识检索减轻大型语言模型的幻觉

    在医学领域中，通过使用自我完善的知识图谱检索方法（Re-KGR），我们可以显著提高大型语言模型的真实性，降低谬误并减少虚构内容。

    May, 2024

  • 大型语言模型的生物医学知识图增强提示生成

    提出了一种融合知识图谱和大型语言模型的框架，通过优化方式，增强了通用型语言模型适应处理领域特定问题的能力。

    Nov, 2023