Jan, 2023

REPLUG: 检索增强的黑盒语言模型

PDF
TL;DR该论文提出了 REPLUG—— 一种检索增强的语言模型框架，通过可调节的检索模型增强 LM 模型。实验结果表明，通过 tuned 检索器，REPLUG 可以显著提高 GPT-3（175B）和 Codex 在语言建模和五 shot MMLU 任务上的性能。
replugretrieval-augmented language modelinglanguage modelsupervised retrieval modelgpt-3
发现论文，激发创造
  • 适应增强的召回器作为通用插件提升语言模型的泛化能力

    以通用的文本检索插件为基础，通过增强适应性的文本检索器 (AAR)，为各种语言模型 (large target LMs ranging from 250M Flan-T5 to 175B InstructGPT) 提供外部知识，从而显着提高零样本推理的泛化能力。

    May, 2023

  • 通过即插即用检索反馈改进语言模型

    本文提出了一种名为 ReFeed 的新型管道，通过提供自动检索反馈，以更高效和经济的方式改善大语言模型的输出，并在零样本和少样本设置下显著提高结果。

    May, 2023

  • 自检索的长距离语言建模

    本文中，我们提出了一种用于从头开始联合训练检索增强语言模型的架构和训练流程，名为 Retrieval-Pretrained Transformer（RPT），并使用四个长程语言建模任务进行了评估，横跨图书、代码和数学写作，证明了与强基线相比，RPT 改善了整体的检索质量和困惑度。

    Jun, 2023

  • 可靠、适应性强、可归因的检索式语言模型

    通过在推理过程中引入大规模数据存储，检索增强的语言模型（retrieval-augmented LMs）可以更可靠、适应性更强且更具可追溯性，然而目前在超越知识密集型任务（如问答）以外的领域，检索增强的语言模型尚未被广泛采用，这需要重新考虑数据存储和检索器、改进检索器和语言模型组件之间的交互以及在高效训练和推理方面进行大规模投资。

    Mar, 2024

  • 我们是否应该使用检索方法预训练自回归语言模型？一项全面研究

    通过引入检索机制可以提高大型解码器语言模型的困惑度和生成质量，本文提出了一种可扩展的预训练检索增强语言模型，它在实验证明了在知识密集型任务上优于标准 GPT，未来这可能是预训练自回归 LM 的有前途的方向。

    Apr, 2023

  • 检索增强大型语言模型的查询重写

    该研究介绍了一个新的 Rewrite-Retrieve-Read 框架，该框架从查询重写的角度改进了检索增强方法，并通过强化学习调整该框架的策略模型，通过开放域 QA 等下游任务进行了验证。

    May, 2023

  • 大型语言模型下的交互式文本图像检索：一种即插即用方法

    该论文主要关注互动式文本图像检索任务中对话形式的上下文查询问题。PlugIR 方法利用 LLMs 的一般指令遵循能力以两种方式解决了这个问题。该方法不仅提出了一种新颖的评估指标 BRI，还展示了在各种基准测试中优于零射击和微调基准线的优越性能。

    Jun, 2024

  • 检索增强的端到端口语对话模型

    我们将先前开发的 SLM 模型应用于语音对话应用中，其中对话状态直接从音频信号中推断，通过检索增强的 SLM（ReSLM）改善了识别领域特定实体的困难，提升了模型性能，特别在对话状态跟踪和具有偏置能力的语音自动识别方面具有广泛适用性。

    Feb, 2024

  • K-PLUG：用于电子商务自然语言理解和生成的知识注入预训练语言模型

    本研究提出了一种基于 encoder-decoder transformer 的知识注入预训练语言模型 K-PLUG，利用五种知识感知的自我监督预训练目标，包括电子商务领域特定知识库、产品实体的方面、产品实体的类别和产品实体的独特卖点，有效地为语言理解和生成任务学习了各种领域特定知识，并在包括产品知识库完成、摘要产品总结和多次对话等领域特定 NLP 任务中达到了新的最佳性能。

    Apr, 2021

  • REALM: 检索增强语言模型预训练

    本文介绍了一种利用潜在知识检索器扩充语言模型预训练，并将其应用于开放域问答任务中，实现了良好的效果和可解释性。

    Feb, 2020