Dec, 2023

不要完全相信所读之事：通过对大型语言模型中幻觉的自动识别来增强摘要解释性

HTML
PDF
TL;DR这篇论文通过深入探讨大型语言模型在幻觉方面的行为，定义了一种基于标记的方法以识别不同类型的幻觉，并进一步利用这种标记方法提高对话摘要任务中语言模型的可解释性和忠实度，同时提出了一个新的改进数据集和训练范式。
发现论文，激发创造
  • 多语言摘要中的幻觉检测与缓解

    通过发展一种新的度量标准（mFACT）来评估跨语言信实度，利用基于翻译的转移来评估非英语摘要的信实度，通过加权损失方法来减少幻觉，可显著提高交叉语言转移的性能和信实度。

    May, 2023

  • 分解验证：检测和减少学术论文摘要中的虚假信息

    通过 Factored Verification 方法检测模糊摘要中的幻觉，并评估了其在 HaluEval 基准测试中的状况，结果表明其在幻觉检测方面达到了 76.2% 的准确度。我们使用该方法估计模型在多篇学术论文摘要中产生幻觉的频率，结果显示 ChatGPT (16k) 平均摘要中有 0.62 个幻觉，GPT-4 为 0.84，而 Claude 2 则为 1.55。我们要求模型使用 Factored Critiques 进行自我纠正，结果发现幻觉数量分别下降到了 ChatGPT 的 0.49，GPT-4 的 0.46，以及 Claude 2 的 0.95。由于我们发现的幻觉往往是微妙的，因此在使用模型合成学术论文时需要谨慎。

    Oct, 2023

  • 大型语言模型中的幻觉调查：原则、分类、挑战与开放问题

    在这份调查中，我们旨在对大型语言模型（LLM）幻像领域的最新进展进行全面而深入的概述。我们从LLM幻像创新分类入手，然后深入探讨了导致幻像的因素。接下来，我们全面介绍了幻像检测方法和基准。此外，我们还相应介绍了用于减轻幻像的代表性方法。最后，我们分析了突出当前限制的挑战，并制定了未来LLM幻像研究的开放问题，旨在描绘发展方向。

    Nov, 2023

  • 轻量但更忠实：研究剪枝大型语言模型在抽象摘要生成中的幻觉

    通过对大型语言模型在抽象摘要生成中修剪算法的实证研究，发现修剪后的模型与完整模型相比更少出现幻觉，并提出其与源输入之间的更高词汇重叠可能是幻觉减少的原因。

    Nov, 2023

  • DelucionQA: 领域特定问答中的幻觉检测

    大型语言模型（LLM）生成的文本中存在幻觉现象，通过信息检索来减少幻觉数量，但仍存在各种原因导致幻觉产生。为了促进这个方向的研究，我们引入了一个复杂的数据集DelucionQA，用于捕捉检索增强LLM在特定领域的问答任务中所产生的幻觉，并提出了一系列幻觉检测方法作为未来研究的基准。分析和案例研究还提供了有关目标场景中幻觉现象的宝贵见解。

    Dec, 2023

  • 大型语言模型中幻觉缓解技术的综合调查

    这篇论文综述了32种技术，旨在减轻大型语言模型中的幻觉问题，其中包括检索增强生成、知识检索、CoNLI和CoVe等方法，并提出了基于数据集利用、常见任务、反馈机制和检索器类型等参数的分类方法，以区分专门设计用于解决大型语言模型幻觉问题的各种方法。此外，还分析了这些技术中存在的挑战和局限性，为未来研究提供了坚实的基础。

    Jan, 2024

  • MALTO参与SemEval-2024任务6: 运用合成数据进行LLM幻觉检测

    自然语言生成面临若干挑战，我们通过引入数据增强管道和投票集成来解决生成流畅但不准确以及过度依赖流畅度评测指标的问题。

    Mar, 2024

  • 文本摘要的幻觉多样性感知主动学习

    通过在文本摘要中测量语义框架、话述和内容可验证性中的细粒度错误，我们提出了第一个主动学习框架来减轻LLM幻觉，减少对幻觉错误的昂贵人工注释。经过对三个数据集和不同主干模型的广泛实验，我们的方法在有效和高效地减轻LLM幻觉方面具有优势。

    Apr, 2024

  • 大规模语言模型生成中的幻觉检测：基于词元概率的方法

    使用两个简单的分类器和从其他LLM评估器获得的四个数值特征，本文引入了一种监督学习方法，取得了有希望的结果，并在三个不同基准测试中超越了当前最先进的成果。

    May, 2024

  • 对话摘要中的LLM行为分析：揭示环境幻象趋势

    最近大规模语言模型在摘要系统的能力方面取得了重大进展；然而，仍然存在关于虚构信息的担忧。本研究评估了对话摘要中大语言模型的准确性，使用人工注释，并着重于识别和分类分段级别的不一致性。通过比较行为差异，我们提出了一种错误的细分分类方法，并引入了两种基于提示的方法以更好地检测这些细微错误。

    Jun, 2024