KCTS: 基于知识约束的树搜索解码与令牌级幻觉检测

EMNLPOct, 2023

KCTS: 基于知识约束的树搜索解码与令牌级幻觉检测

KCTS: Knowledge-Constrained Tree Search Decoding with Token-Level Hallucination Detection

Sehyun Choi, Tianqing Fang, Zhaowei Wang, Yangqiu Song

TL;DR大型语言模型 (LLMs) 展示了令人瞩目的人类级自然语言生成能力。然而，它们产生误信息的潜力，通常被称为幻觉问题，给其应用带来了重大风险。为了克服这些限制，我们提出了一种称为 KCTS（知识约束树搜索）的知识约束解码方法，通过知识分类器分数和 MCTS（蒙特卡洛树搜索），在每个解码步骤上引导冻结模型生成与参考知识一致的文本。为了将序列级知识分类器适应为标记级的指导，我们还提出了一种新的标记级幻觉检测方法称为 RIPA（奖励拐点近似）。我们在知识基础对话和抽象概括的实证结果上展示了 KCTS 的强大实力，作为一种即插即用、模型不可知的解码方法，能有效减少自然语言生成中的幻觉。

Abstract

large language models (LLMs) have demonstrated remarkable human-level natural language generation capabilities. However, their potential to generate misinformation, often called the hallucination problem, poses a

large language models hallucination problem knowledge-constrained decoding knowledge classifier score hallucination detection method

发现论文，激发创造

基于知识驱动的协同训练：探索 LLMs 中的忠实推理与知识密集型问答

通过与外部知识的交互，我们提出了一个名为知识驱动的思路连贯（KD-CoT）的框架，以验证和修改语言模型的推理过程，以缓解幻觉和错误传播，尤其在回答知识密集型任务时。

Aug, 2023

通过自我完善增强的知识检索减轻大型语言模型的幻觉

在医学领域中，通过使用自我完善的知识图谱检索方法（Re-KGR），我们可以显著提高大型语言模型的真实性，降低谬误并减少虚构内容。

May, 2024

通过知识一致性对饱受大型语言模型幻觉困扰进行减轻

通过知识一致性对齐的新方法，减少外部知识与预训练语料库中的内在知识之间的不一致，以减轻大型语言模型在对齐过程中出现的幻觉现象，并证实了知识不一致性与幻觉之间的相关性。

Jan, 2024

真实感知上下文选择：减轻大型语言模型被虚假上下文误导的幻觉

我们提出了 Truth-Aware Context Selection（TACS）方法，该方法通过对输入上下文进行真实性检测，并基于每个位置的真实性构建相应的注意力掩码，以选择真实的上下文并丢弃虚假的上下文，有效过滤上下文信息并显著提高大型语言模型的整体响应质量。

Mar, 2024

教导大型语言模型从自身信号中表达知识边界

本文提出了 CoKE 方法，通过评估大型语言模型的知识边界，使其能够准确表达自己的知识边界，从而减少幻觉现象，显著提高在领域内和领域外的性能表现。

Jun, 2024

大型语言模型中幻觉缓解技术的综合调查

这篇论文综述了 32 种技术，旨在减轻大型语言模型中的幻觉问题，其中包括检索增强生成、知识检索、CoNLI 和 CoVe 等方法，并提出了基于数据集利用、常见任务、反馈机制和检索器类型等参数的分类方法，以区分专门设计用于解决大型语言模型幻觉问题的各种方法。此外，还分析了这些技术中存在的挑战和局限性，为未来研究提供了坚实的基础。

Jan, 2024

通过引发幻觉减轻大型语言模型的幻觉

提出的 “感应 - 对比解码” 策略通过降低幻觉导致的不真实预测，增强了大型语言模型生成内容的可信度。在多个模型规模和系列上的实验证明，该方法能有效提高大型语言模型的内容真实性。

Dec, 2023

学会相信自己的感受：在语言模型中利用自我意识缓解幻觉

通过使用知识探测、一致性检查和强化学习等方法，我们发现大型语言模型在辨别和表达其内部知识状态方面具有强大的自我意识，然而它们在生成过程中常常无法表达其内部知识，导致虚构。为此，我们提出了一种自动虚构注释工具，通过梦网，该工具将知识探测和一致性检查方法结合起来，以排名虚构偏好数据。通过使用知识偏好作为奖励，我们提出了一种从知识反馈中强化学习（RLKF）的训练框架，利用强化学习增强大型语言模型的真实性和诚实性。我们对多个模型进行的实验证明，RLKF 训练有效地增强了模型利用其内部知识状态的能力，在各种基于知识和诚实性的任务中提高了性能。

Jan, 2024

知识注入解码

通过一种名为 KID 的基于强化学习的算法，将外部知识动态地注入到生成语言模型的解码过程中，以解决语境相关性和事实准确性的问题，进而在多种知识密集型自然语言生成任务中体现出比许多优化后的模型更好的性能表现。

Apr, 2022

KnowHalu：基于多形式知识的事实检查的幻觉检测

KnowHalu 是一种新颖的方法，用于检测大规模语言模型（LLMs）生成的文字中的幻觉，利用逐步推理、多阶段问题形式、多形式知识进行事实检查以及基于融合的检测机制。

Apr, 2024