研究表明，在自然语言理解任务中，prompt tuning相比下游微调能更好地利用大型语言模型的优势，但是现有的prompt tuning方法在训练时存在不稳定性问题。本文提出了基于扰动的正则化方法，将其应用到prompt tuning中，从而稳定训练并提高准确性。实验结果表明，本文提出的新方法在SuperGLUE和FewGLUE基准测试中分别比现有状态-of-the-art方法提高了1.94％和2.34％。

May, 2023

通过对Retrieval-Augmented Generation对大型语言模型的影响进行系统调查和评估，本文发现大型语言模型在噪音鲁棒性、负面拒绝、信息整合和对抗性鲁棒性方面存在挑战，表明在将RAG有效应用于大型语言模型方面仍有很长的路要走。

Sep, 2023

通过细调、检索增强生成（RAG）和软提示等方法提高大型语言模型（LLMs）的性能的研究一般侧重于使用高度技术性或高成本的技术，使许多新发现的方法对非技术用户相对不可访问。在本文中，我们测试了未修改版本的GPT 3.5，经过细调的版本，以及相同的未修改模型在访问矢量化的RAG数据库时，单独或与基本的非算法软提示相结合。每种情况下，我们测试了模型回答一组100个与2021年9月之后（GPT 3.5的训练数据集结束的时间点）相关的事件问题的能力。我们发现，如果使用商业平台并应用默认设置以建立基准输出集，经过细调的模型优于GPT 3.5 Turbo，而RAG方法优于两者。应用软提示显著提高了每种方法的性能。

Nov, 2023

Retrieval-Augmented Generation (RAG)可以增强预训练模型，通过在测试时引入外部知识以实现定制化适应性。研究发现，Retrieval-In-Context RAG语言模型中存在数据存储泄露的风险，对于多种现代语言模型以及GPTs模型，攻击利用模型的指令跟随功能，通过提示注入轻松从数据存储库中提取文本数据。通过设计一种攻击方法，可以在25个随机选择的自定义GPTs模型上以100%的成功率导致数据存储泄露，并且通过自身生成的仅100个查询，从包含77,000字的书籍和1,569,000字的文集中从文本数据中提取文本数据的比率为41%和3%。

Feb, 2024

我们提出了一种新颖的RAG提示方法，即超级叠加提示，可以直接应用于预训练的基于transformer的大语言模型，无需进行精调，以解决大语言模型在处理长上下文时的推理成本呈二次比例增长、输出质量受无关上下文干扰的问题。我们的方法可以同时提高各种问答基准测试的时间效率，并且在检索到的上下文相对于模型训练时的上下文更大的情况下显著提高准确性。

Apr, 2024

Retrieval-Augmented Generation (RAG)是一种合并检索方法和深度学习技术的方法，旨在通过动态整合最新的外部信息解决大型语言模型（LLMs）的静态限制，并通过使用真实世界的数据提供一种成本效益的解决方案来改进LLMs输出的准确性和可靠性。该研究将RAG范式分为四个类别，并从检索的角度提供了详细的视角，同时介绍了RAG的演进和领域的进展。此外，该论文还提出了针对RAG的评估方法，并提出了面临的挑战和未来的研究方向，旨在巩固现有的RAG研究，明确其技术基础，并突出其扩展LLMs的适应性和应用潜力。

Apr, 2024

检视了检索增强型大型语言模型（RA-LLMs）的现有研究，涵盖体系结构、训练策略和应用三个主要技术视角，并介绍了此类模型的基础知识和最新进展，以及它们为大型语言模型（LLMs）带来的实际意义和应用领域的挑战和能力，最后讨论了当前的局限性和未来研究的几个有前途的方向。

May, 2024

这项研究将大型语言模型与检索增强生成相结合，提出了一种名为RAAT的新的检索增强自适应对抗训练方法，通过适应性对抗训练动态调整模型的训练过程以应对检索噪声，并通过多任务学习确保模型内部识别噪声上下文的能力。实验证明，使用RAAT训练的LLaMA-2 7B模型在不同噪声条件下显著提高了F1和EM分数。

May, 2024

本研究解决了当前长上下文大型语言模型在检索增强生成中处理长输入时的表现问题，特别是检索到的“困难负样本”对生成质量的负面影响。文章提出了无训练和有训练的优化方法，尤其是检索重新排序和专门的模型微调，显著提升了生成性能。研究结果表明，合理处理检索信息可有效提升生成输出的质量。

Oct, 2024

本研究解决了检索增强生成中，大语言模型受文档检索顺序影响的问题，并通过深入分析填补了这一领域的空白。我们提出似然性作为语言模型性能的有效评估工具，通过实验证明了问题的似然性与回答准确性之间的相关性，并提出两种利用问题似然性优化提示选择与构建的方法，显著提升了生成效果。

Nov, 2024