Jun, 2024

REAL 采样：通过渐近熵促进开放式生成的准确性和多样性

PDF
TL;DR本文提出了一种名为 REAL（Residual Entropy from Asymptotic Line）采样的解码方法，通过预测自适应阈值 $p$，实现了比核心采样更好的准确性和多样性。实验结果表明，结合对比解码后，REAL 采样优于 9 种采样方法，生成的文本既比贪婪采样更准确，又比 $p=0.5$ 的核心采样更多样。此外，预测的渐近熵也是幻觉检测任务中一种有用的无监督信号。
发现论文，激发创造
  • 基于熵指导的外推解码方法提升大型语言模型中的事实准确性

    大型语言模型 (LLMs) 具备令人印象深刻的自然语言处理能力，但存在虚构结果的问题。最近的研究关注于解码技术，通过利用 LLMs 的分层表示技术及在推理过程中操纵预测分布，提高真实性。本文通过超出最后一层的关键标记概率外推和基于层次熵的下层选择，解耦选择过程与最后一层之间的关系，实验结果显示非常好的性能，并在多个数据集上大幅领先，分析结果表明不同类型的提示需要不同的选择策略。

    Apr, 2024

  • 语义熵探针：在 LLMs 中稳健且经济的幻觉检测

    我们提出了语义熵探针 (SEPs)，这是一种在大型语言模型 (LLMs) 中用于量化不确定性的廉价可靠方法。

    Jun, 2024

  • 事实揭示：用于幻觉检测的事实蕴含

    介绍了一种新颖的事实推理方法（Factual Entailment），用于检测大型语言模型生成的内容中的事实错误（hallucinations），并提出了一个基准数据集（FACTOID）用于评估和排名语言模型的自动错误产生脆弱性指数（Auto Hallucination Vulnerability Index） 。

    Mar, 2024

  • 增强基于不确定性的错觉检测与更强的关注

    本文提出了一种新颖的无参考、基于不确定性的大语言模型 (LLM) 幻觉检测方法，通过关注给定文本中最具信息和重要性的关键词、历史上不可靠的标记以及标记属性（如类型和频率），实现了最新的检测方法，消除了对额外信息的需求。

    Nov, 2023

  • 揭开塞壬之歌：迈向可靠的事实冲突幻觉检测

    通过 FactCHD 基准测试，评估 Large Language Models 中事实性的判断，在检测虚假信息方面取得了有效成果，且当前方法在准确检测事实错误方面存在不足。

    Oct, 2023

  • SelfCheckGPT: 面向生成式大型语言模型的零资源黑盒幻觉检测

    本文提出了一种称为 SelfCheckGPT 的新方法，用于检测生成式大型语言模型中的错误事实，并在不需要外部数据库的情况下使用。该方法基于样本抽样，利用相似的句子包含一致事实的简单概念来判断事实的准确性。我们使用 GPT-3 生成 WikiBio 数据集中的个人传记来验证该方法，证明 SelfCheckGPT 可以检测非事实和事实句子，并按事实性对生成段落进行排序。

    Mar, 2023

  • 高温下的创造力与连贯性的平衡：最小 P 采样

    提出了一种动态截断采样方法 min-$p$，通过在生成文本时根据候选词的概率来建立最小基础百分比阈值来平衡自洽性和创造力，实验表明 min-$p$ 在高温度下提高了生成文本的一致性和质量，同时与 top-$p$ 和其他采样方法相比，还能产生更具创意和多样性的文本输出。

    Jul, 2024

  • 更准确的开放式回答的自洽解码

    通过将多个样本与先前的选择相结合，基于简单的令牌重叠评分，我们将 “Sample & Select” 方法与其他几种解码算法进行比较，证明其在基于 NLI 的 CNN/DM 和 XSum 子集的 FRANK 基准测试中，相对于其他解码算法（DoLA、P-CRR 和 S-CRR）提高了 30% 的事实性，而对参考摘要维持可比的 ROUGE-1 F1 得分，并通过对生成摘要的人工验证进一步证实了我们方法的事实优越性。

    Mar, 2024

  • Chainpoll：一种高效的 LLM 幻觉检测方法

    基于大规模语言模型的幻觉检测方法 ChainPoll 以及用于评估幻觉检测的基准数据集 RealHall 的介绍和综合比较。

    Oct, 2023

  • 语言模型产生幻觉但在事实验证中可能表现出色

    自然语言处理和大型语言模型在近期取得了显著进展，然而，大型语言模型常常会出现 “幻觉”，导致非事实性的输出。我们的人工评估结果证实了这一严重的幻觉问题，显示即使是 GPT-3.5 的事实性输出不到 25%。这凸显了事实验证器的重要性，以便衡量和激励进展。我们的系统调查确认了大型语言模型可以被重新用作有效的事实验证器，与人类判断具有强相关性，至少在维基百科领域。令人惊讶的是，在我们的研究中，最不事实生成器 FLAN-T5-11B 表现最佳作为事实验证器，甚至超过了像 GPT3.5 和 ChatGPT 这样更有能力的大型语言模型。进一步深入分析了这些大型语言模型对高质量证据的依赖以及它们在鲁棒性和泛化能力方面的不足。我们的研究为开发可信赖的生成模型提供了见解。

    Oct, 2023