Jun, 2024

对大型语言模型的 “隐式” 检索鲁棒性的评估

PDF
TL;DR通过评估各种大规模语言模型的 “隐式” 检索鲁棒性，我们发现混合了黄金和干扰性上下文进行微调显著提高了模型对检索不准确性的鲁棒性，同时仍然保持着在检索准确时提取正确答案的能力，这表明大规模语言模型可以通过仅从最终答案的监督中学习来隐式处理相关或无关的检索上下文，并且引入显式相关性判断的额外过程可能是不必要的并且会打断端到端的方法。
发现论文，激发创造
  • 提升检索增强语言模型对无关背景的鲁棒性

    使用检索增强语言模型 (Retrieval-augmented language models, RALMs) 在处理特定应用场景问题时，检索到的信息能够提高模型的性能，并且不会损害性能。该研究分析了五个开放领域问答基准，并提出了两种方法以减轻性能下降问题。

    Oct, 2023

  • 语言的更多空间：探究检索对语言模型的影响

    利用 “理想检索” 方法研究检索增强语言模型，评估检索增强对语言模型行为的影响，观察到这些模型在权重保存方面具有更少的世界知识，在理解局部上下文和词间依赖方面表现更好，但在理解全局上下文方面表现更差。

    Apr, 2024

  • 使用迭代检索生成协同技术增强检索增强型大型语言模型

    本研究提出一种名为 Iter-RetGen 的方法，通过检索和生成的迭代协同作用，以全面地处理检索到的知识并在不受结构约束的情况下实现灵活的生成，而这可以在多跳问答、事实验证和常识推理等任务中实现可比甚至优于现有检索辅助基准的效果，同时减少检索和生成的开销，从而提高了性能。

    May, 2023

  • 检索即生成

    我们提出了一种新颖的方法，通过从一系列支持文件中选择上下文相关的短语来生成文本，并使用语言学启发式方法初始化训练阐述，并通过迭代的自我增强来加强训练阐述。实验证明，与标准语言模型相比，我们的模型在各种知识密集型任务上不仅表现出色，而且在开放式文本生成中表现出更高的生成质量。我们的模型在 OpenbookQA 上将准确性从 23.47% 提高到 36.27%，在开放式文本生成中的 MAUVE 得分从 42.61% 提高到 81.58%。值得注意的是，我们的模型在几个检索增强基准中实现了最佳性能和最低延迟。总之，我们断言检索是更准确的生成，并希望我们的工作能够鼓励进一步研究这一新的转变。

    Feb, 2024

  • 评估检索增强型大型语言模型在科学文件推理中的有效性

    本研究通过关键字检索对多种大型语言模型进行评估，发现这些模型在科学文档推理任务中会使用编造的证据来支持预测，利用科学语料库进行预训练无法减轻证据捏造的风险。

    Nov, 2023

  • 检索有益还是有害？对语言模型检索增强效果的深入研究

    通过研究大型语言模型的自身限制以及外部信息检索的有效性，本研究构建了一个新的问答数据集 WiTQA，以探索实体和关系的组合对于信息检索和知识回忆方面的影响，从而提出了一个基于实体和关系频率的自适应检索系统。

    Feb, 2024

  • 大型语言模型对无关输入的响应会如何被扭曲？

    通过检索外部知识数据库，大语言模型在许多知识密集型任务中展示出增强的能力。然而，由于当前检索系统的固有缺陷，存在于排名靠前段落中的信息可能是不相关的。本文全面研究了 LLMs 对不同类型不相关信息在各种条件下的鲁棒性，通过构建高质量的不相关信息框架，展示了当前解决不相关信息的方案在提高 LLMs 对这些干扰的鲁棒性方面存在局限性。

    Apr, 2024

  • 强化信息检索与生成的大型语言模型

    我们提出了一种迭代检索 - 生成的协作框架，该框架可以利用参数化和非参数化知识，帮助找到正确的推理路径，并显著提高大型语言模型的推理能力。实验结果显示我们的方法优于之前的基线模型，在单跳和多跳问答任务上取得了显著的改进。

    Oct, 2023

  • 评估大型语言模型的基于检索上下文学习的对抗鲁棒性

    通过引入检索增强联系学习方法，利用检索器提取语义相关示例作为演示，提高模型对测试样本的攻击稳健性，并引入一种无需训练的对抗防御方法 DARD，通过丰富示例池来改进模型性能和稳健性。

    May, 2024

  • 检索重构：大规模语言模型推理

    本文提出了一种名为 'rethinking with retrieval' (RR) 的后置处理方法，借助 'chain-of-thought' (CoT) 提示中的分解推理步骤检索相关的外部知识，从而改善大语言模型在常识推理、时间推理和表格推理等方面的性能。

    Dec, 2022