基于 LLM 的引文增强生成技术的聊天机器人

Feb, 2024

基于 LLM 的引文增强生成技术的聊天机器人

Citation-Enhanced Generation for LLM-based Chatbot

Weitao Li, Junkai Li, Weizhi Ma, Yang Liu

TL;DR我们提出了一种新颖的后置 extbf {引用增强生成（ extbf {CEG}）} 方法，结合检索论证。与先前的研究不同，我们的方法并不着重于在生成过程中防止幻觉，而是采用后置方式解决这个问题。我们的模型包括一个检索模块，用于搜索与生成内容相关的支持文档，并采用基于自然语言推理的引文生成模块。如果生成内容中的陈述缺乏参考文献，我们的模型可以重复生成回复，直到所有陈述都有引文支持。在各种与幻觉相关的数据集上的实验证明，我们的框架在幻觉检测和回复重构两个基准上优于现有方法。我们的代码和数据集将公开提供。

Abstract

large language models (LLMs) exhibit powerful general intelligence across diverse scenarios, including their integration into chatbots. However, a vital challenge of LLM-based chatbots is that they may produce hallucinated content in responses, which significantly limits their applicab

large language models hallucination citation-enhanced generation retrieval argumentation response regeneration

发现论文，激发创造

大型语言模型中幻觉缓解技术的综合调查

这篇论文综述了 32 种技术，旨在减轻大型语言模型中的幻觉问题，其中包括检索增强生成、知识检索、CoNLI 和 CoVe 等方法，并提出了基于数据集利用、常见任务、反馈机制和检索器类型等参数的分类方法，以区分专门设计用于解决大型语言模型幻觉问题的各种方法。此外，还分析了这些技术中存在的挑战和局限性，为未来研究提供了坚实的基础。

Jan, 2024

扯不清的边界：检索增强的聊天机器人的双刃剑

揭示了大型语言模型存在的幻觉问题，通过整合外部知识与提示信息，检验了检索增强生成（RAG）的能力，实验证明 RAG 在某些情况下能提高准确性，但仍然可能受到与模型预训练理解相抵触的提示的误导，研究结果强调了幻觉的复杂性以及确保大型语言模型在实际应用中可靠性的更强大解决方案的必要性，并提供了 RAG 部署的实用建议和对更值得信赖的大型语言模型开发的影响。

Mar, 2024

让大型语言模型能够生成带有引文的文本

这项研究介绍了 ALCE，一个自动化 LLMs 引用评估的评测基准，通过自动度量三个维度 - 流畅度、正确性和引用质量，强调了更好的检索器、长文本 LLMs 等方向的改善空间。

May, 2023

检测争议话题中检索增强生成模型中的虚构和覆盖错误

基于维基百科的中立观点原则，我们探索了一种应对 LLM 聊天机器人中有争议话题的策略：承认单一真实答案的缺失，并呈现多个观点。我们将其框架为检索增强生成，其中观点从知识库中检索出来，LLM 的任务是从给定的观点中生成流畅而忠实的回应。我们使用一种确定性的检索系统作为起点，然后关注在这种文本生成方法中出现的常见 LLM 故障模式，即幻觉和覆盖错误。我们提出并评估了三种基于（1）词重叠，（2）重要性和（3）基于 LLM 的分类器来检测这些错误的方法。我们的结果表明，即使只在合成错误上进行训练，基于 LLM 的分类器在错误检测性能上也能达到很高的水平，幻觉检测的 ROC AUC 得分为 95.3％，覆盖错误检测为 90.5％（对于明确的错误案例）。我们展示了当没有可用的训练数据时，我们的其他方法在幻觉检测（84.0％）和覆盖错误检测（85.2％）上仍然产生良好的结果。

Mar, 2024

通过检索增强生成降低结构化输出中的错觉

提出了一种利用检索增强生成（RAG）的系统来改进结构化输出质量、减少生成 AI 中的幻觉，并提高 LLM 在领域外场景中的泛化能力的企业应用部署方法。

Apr, 2024

大型语言模型中最小化事实不一致和幻觉

提出了一个多阶段的框架，通过生成合理的依据并验证修正错误，将其作为支持参考生成答案，提高了 GPT-3.5-turbo 在生命科学行业药物相关查询中的响应质量。该框架使得 GPT-3.5-turbo 对两个数据集的答案更可靠和准确，并通过与商业模型进行竞争，提高了小型开放访问的 LLMs 的准确性。

Nov, 2023

通过自我反思来缓解大型语言模型中的幻想

通过与大规模语言模型和数据集合作，本文分析了医学生成型问答系统中幻觉现象的问题，并提出了一种交互自我反思的方法来解决该挑战，最终实验证明该方法在幻觉减少方面优于基线模型。

Oct, 2023

通过自我完善增强的知识检索减轻大型语言模型的幻觉

在医学领域中，通过使用自我完善的知识图谱检索方法（Re-KGR），我们可以显著提高大型语言模型的真实性，降低谬误并减少虚构内容。

May, 2024

基于马尔可夫链的多主体辩论框架用于检测 LLM 虚构

我们提出了基于马尔可夫链的多代理辩论验证框架，用于增强简要声明中的错误检测准确性，并通过包括声明检测、证据检索和多代理验证在内的事实检查过程集成验证的方法。实验证明，我们的方法在三个生成任务中相比基准线实现了显著改进。

Jun, 2024

大型语言模型的零资源幻觉预防

通过引入一种名为【自我检测】的新技术，本研究提出了一种预防性策略来减少大型语言模型中的 “幻觉” 现象，实验证明该技术在幻觉检测方面表现优异，对于提高语言助手的可靠性、适用性和解释性具有重要意义。

Sep, 2023