面向检索增强生成的事实一致性评估：Face4RAG
通过研究网络增强的长格式问答，本文提出了一种新的轮廓增强生成器以实现多方面答案的清晰逻辑，并基于精心设计的双重细粒度 RLHF 框架提出了一种基于事实性优化的检索增强生成方法（FoRAG），在英文和中文基准测试中验证了其优越性。
Jun, 2024
通过利用语言模型（LM）的函数调用能力和 RAG 事实回忆评估框架，FaaF 方法大幅提高了 LM 识别文本中不支持的事实的能力，相较于指令为基础的方法，同时提高了效率和降低成本。
Mar, 2024
通过利用框架语义的认知语言学理论进行索引和检索与大型语言模型回答查询相关的事实信息，本研究提出了一种新型的 Retrieval Augmented Generation 扩展方法以减轻大型语言模型输出的事实不准确性，并通过实验证明了这种方法的有效性和自动生成的框架及框架间关系的相关性，显示了框架语义检索的潜力，为这一理论提供了数据驱动的洞见。
Jun, 2024
通过将大型语言模型（LLMs）与基于检索增强生成（RAG）的先进推理技术相结合，本研究提出了两种创新方法（CoRAG 和 ToRAG），以增强多模态事实检验的可靠性和效率。通过分析文本和图像的多模态 LLMs，该研究推动了自动化系统在辨别和对抗错误信息方面的能力。
Apr, 2024
通过对 Retrieval-Augmented Generation 对大型语言模型的影响进行系统调查和评估，本文发现大型语言模型在噪音鲁棒性、负面拒绝、信息整合和对抗性鲁棒性方面存在挑战，表明在将 RAG 有效应用于大型语言模型方面仍有很长的路要走。
Sep, 2023
大语言模型（LLMs）不可避免地产生幻觉，因为仅依靠它们所封装的参数知识无法确保生成的文本的准确性。为了改善生成的鲁棒性，我们提出了纠正检索增强生成（CRAG）。通过设计轻量级的检索评估模型来评估检索文档的整体质量，并基于此返回信心度，从而触发不同的知识检索操作。此外，利用大规模网络搜索扩展检索结果。通过分解和重组算法，选择性关注关键信息并过滤掉不相关信息。CRAG 与各种基于 RAG 的方法可以无缝连接。在涵盖短文和长文生成任务的四个数据集上的实验表明，CRAG 可以显著提高基于 RAG 的方法的性能。
Jan, 2024
Retrieval-Augmented Generation (RAG) 技术通过整合外部知识源提升了大型语言模型 (LLM) 的能力，克服了 LLM 存在的过时信息和生成不准确 “幻象” 内容的问题。本文构建了一个大规模且更全面的基准测试，评估了 RAG 系统的所有组成部分在不同应用场景中的性能，并对 RAG 技术在不同场景下的优化提供了有用的见解。
Jan, 2024
本研究介绍了一种名为公平检索增强生成（FairRAG）的新框架，该框架通过从外部图像数据库中检索的参考图像来改善人类生成中的公平性，并通过将参考图像投影到文本空间的轻量级线性模块来实现条件生成，以提高公平性。通过简单而有效的去偏策略，FairRAG 提供来自各种人口群体的图像，从而在生成过程中增加了人口多样性。大量实验表明，FairRAG 在人口多样性、图像 - 文本对齐和图像保真度方面优于现有方法，并且在推理过程中具有最小的计算开销。
Mar, 2024
我们提出了一种朝着利用检索增强生成（RAG）改进大规模语言模型（LLMs）对私人知识库相关的领域特定和时间敏感查询的事实准确性的端到端系统设计。我们的系统将 RAG 流水线与上游数据集处理和下游性能评估集成在一起。通过使用源自 CMU 广泛资源并以教师模型进行注释的策划数据集对模型进行微调，解决了 LLM 产生的幻觉挑战。我们的实验表明该系统在生成更准确的领域特定和时间敏感查询答案方面的有效性。结果还揭示了使用规模较小和偏斜的数据集进行微调 LLM 的限制。这项研究突出了 RAG 系统在增强 LLMs 表现方面的潜力在知识密集型任务中。我们的代码和模型可在 Github 上找到。
Mar, 2024