大语言模型带来了强大的性能和发展前景，并广泛应用于现实世界。然而，这些模型可能从未经处理的训练数据中捕捉到社会偏见，并将其传播到下游任务。本文全面回顾了关于大语言模型中的公平性的相关研究，介绍了中等规模的模型和大规模的模型分别从内在偏见和外在偏见的角度引入了评估指标和去偏方法，并讨论了公平性发展中的挑战和未来方向。

Aug, 2023

本研究提出了C-RAG框架，旨在为RAG模型证明世代风险。具体地，我们为RAG模型提供了符合风险分析，并认证了世代风险的上界置信度称为符合世代风险。我们还对测试分布转移下的一般有界风险函数的符合世代风险提供了理论保证。当检索模型和变换器的质量非平凡时，我们证明了RAG模型实现了比单个LLM更低的符合世代风险。通过对四个广泛使用的自然语言处理数据集在四个最先进的检索模型上进行的强化实证结果表明了我们符合尾世代风险保证的可靠性和紧密性。

Feb, 2024

使用检索增强生成（RAG）技术可以增强具有专有和私有数据的语言模型，在这种情况下，数据隐私是关键问题。本研究对检索增强生成系统进行了广泛的实证研究，并提出新的攻击方法来揭示其对私有检索数据库的泄露漏洞。尽管RAG技术存在新的风险，但它可以减轻语言模型的训练数据泄露问题，为检索增强语言模型的隐私保护提供了新的见解，对语言模型和RAG系统构建者都具有益处。

Feb, 2024

我们提出了一种朝着利用检索增强生成（RAG）改进大规模语言模型（LLMs）对私人知识库相关的领域特定和时间敏感查询的事实准确性的端到端系统设计。我们的系统将RAG流水线与上游数据集处理和下游性能评估集成在一起。通过使用源自CMU广泛资源并以教师模型进行注释的策划数据集对模型进行微调，解决了LLM产生的幻觉挑战。我们的实验表明该系统在生成更准确的领域特定和时间敏感查询答案方面的有效性。结果还揭示了使用规模较小和偏斜的数据集进行微调LLM的限制。这项研究突出了RAG系统在增强LLMs表现方面的潜力在知识密集型任务中。我们的代码和模型可在Github上找到。

Mar, 2024

本研究提出了一个通用的CAG框架，旨在减轻RAG模型中引入的错误信息对生成结果的影响。通过创新的数据转换框架生成基于可靠性的数据，使模型具备辨别和处理信息可靠性的能力。实验证明，该模型在生成中能够有效理解和利用可靠性，显著优于其他带有检索增强的模型，并对噪声文档引起的干扰表现出韧性，从而保持稳健的性能。此外，该模型支持定制的可靠性，有广泛的潜在应用。

Apr, 2024

使用检索增强生成（RAG）的方法将检索到的文本用于增强大型语言模型（LLM）。然而，研究显示RAG并不一致有效，甚至可能因检索到的文本含有噪声或错误而误导LLM，这表明RAG具有双重性，既有益又有害。本研究分离和形式化RAG的益处和害处，通过表征相似度来近似它们之间的差距，并建立它们之间的权衡机制，使其可解释、可量化和可比较。根据我们的理论，提出了一种实用的新方法X-RAG，在标记级别上实现纯LLM和RAG的协同生成，以保留好处和避免害处。基于OPT、LLaMA-2和Mistral的LLMs的实验表明了我们方法的有效性并支持了我们的理论结果。

Jun, 2024

以BERT为基础的生成模型，利用外部知识辅助检索，通过系统性评估不同组件在RAG流程中的影响，提出BERGEN，一个用于标准化可复现研究的端到端库，对问答问题进行广泛的研究，并评估不同的检索器、排序器和生成模型，同时分析现有的RAG度量和数据集。

Jul, 2024

本研究针对检索增强生成(RAG)系统的可信性问题进行探讨，这是一项在大型语言模型(LLMs)发展中日益重要的研究领域。我们提出了一个统一框架，从事实性、鲁棒性、公平性、透明性、问责性和隐私六个维度评估RAG系统的可信性，并通过文献回顾和基准评估，为提高RAG系统在实际应用中的可信性提供了实用见解和未来研究的挑战。

Sep, 2024

本研究解决了检索增强生成(RAG)系统中公平排序被忽视的问题。我们首次系统评估了集成公平排序的RAG系统，发现它们在生成质量方面能够与传统RAG系统相媲美，甚至在许多情况下超越后者，从而推动了相关项目提供者的公平增长。我们的研究为负责任与公平的RAG系统奠定了基础，并为未来研究开辟了新方向。

Sep, 2024

本研究针对检索增强生成(RAG)模型在开放领域问答任务中的公平性缺口进行了探讨，尤其是与性别、地理位置和其他人口因素相关的敏感属性。我们提出了一个专门针对RAG方法的公平性评估框架，通过情境问题分析不同人口属性之间的差异。实验结果表明，尽管在实用性优化上取得了一定进展，但在检索和生成阶段仍存在公平性问题，这强调了在RAG管道中需要更有针对性的公平性干预。

Sep, 2024