Feb, 2024

通过专业权重评估和减少 LLM 虚构，无需黄金标准答案

PDF
TL;DR通过权重 LLMs 的事实性评估（FEWL），我们提出了第一个专门针对没有黄金标准答案的情况的幻觉度量标准，该度量标准借助现成的 LLMs 回答充当黄金标准答案的代理，以更准确地测量幻觉，从而减少存在的威胁并提高 LLMs 的可靠性和信誉。
hallucinationllmsfactualness evaluations via weighting llmsgold-standard answersbenchmark dataset
发现论文，激发创造
  • 增强基于不确定性的错觉检测与更强的关注

    本文提出了一种新颖的无参考、基于不确定性的大语言模型 (LLM) 幻觉检测方法，通过关注给定文本中最具信息和重要性的关键词、历史上不可靠的标记以及标记属性（如类型和频率），实现了最新的检测方法，消除了对额外信息的需求。

    Nov, 2023

  • 学会相信自己的感受：在语言模型中利用自我意识缓解幻觉

    通过使用知识探测、一致性检查和强化学习等方法，我们发现大型语言模型在辨别和表达其内部知识状态方面具有强大的自我意识，然而它们在生成过程中常常无法表达其内部知识，导致虚构。为此，我们提出了一种自动虚构注释工具，通过梦网，该工具将知识探测和一致性检查方法结合起来，以排名虚构偏好数据。通过使用知识偏好作为奖励，我们提出了一种从知识反馈中强化学习（RLKF）的训练框架，利用强化学习增强大型语言模型的真实性和诚实性。我们对多个模型进行的实验证明，RLKF 训练有效地增强了模型利用其内部知识状态的能力，在各种基于知识和诚实性的任务中提高了性能。

    Jan, 2024

  • HaluEval-Wild: 评估野外语言模型的幻觉

    为了评估大规模语言模型 (LLMs) 在动态的现实世界环境中产生幻觉的能力，我们引入了 HalEval-Wild，这是一个特别设计的评估幻觉的基准测试。通过收集现有的用户 - LLM 交互数据集中具有挑战性的用户查询，并使用强大的 GPT-4 模型和检索增强生成 (RAG) 进行参考答案综合，我们对 LLMs 产生的幻觉进行了细致的分析，从而提供了一种改善 LLM 可靠性的新方法。

    Mar, 2024

  • TofuEval: 评估 LLL 在主题焦点对话摘要的虚幻现象

    单个文档新闻摘要在保真度方面取得了显著进展，但我们提出一种新的评估基准，研究在以话题为焦点的对话摘要领域中存在的事实一致性问题和虚构错误类型。

    Feb, 2024

  • 减轻大规模语言模型的虚构问题的忠实微调

    大型语言模型（LLMs）在各种自然语言处理任务上表现出色。然而，它们容易生成流畅但不真实的回复，即 “幻觉”。幻觉可能导致错误信息的传播，并在关键应用中造成伤害。减少幻觉具有挑战性，因为它们来源于嘈杂的数据、模型自信心过度、缺乏知识和生成过程等因素。最近的研究通过表示编辑和解码算法来解决这个问题，实现减少幻觉但不进行重大结构更改或重新训练。然而，这些方法要么隐式地在潜在空间中编辑 LLMs 的行为，要么在解码过程中抑制输出不忠实的结果的倾向，而不是显式地对幻觉进行建模。在本文中，我们介绍了忠实微调（F2），这是一种通过精心设计的损失函数在微调过程中显式地对忠实回答建模的新方法。我们在常用数据集上进行了广泛的实验，并证明 F2 相对于基线模型能够取得显著改进。

    Jun, 2024

  • 多语言摘要中的幻觉检测与缓解

    通过发展一种新的度量标准（mFACT）来评估跨语言信实度，利用基于翻译的转移来评估非英语摘要的信实度，通过加权损失方法来减少幻觉，可显著提高交叉语言转移的性能和信实度。

    May, 2023

  • 评估用于大型视觉语言模型的幻觉基准的质量

    大规模视觉语言模型（LVLMs）的幻觉问题是当前研究的主要关注领域，本研究提出了一种用于评估幻觉质量的基准测量框架（HQM），通过可靠性和有效性的指标对现有幻觉基准进行评估，并构建了一种高质量的 LVLMs 幻觉基准（HQH）。研究在多个代表性 LVLMs 模型上进行了广泛评估，揭示了现有模型中存在的幻觉问题。

    Jun, 2024

  • 基于无法回答的数学问题对大型语言模型中的幻象进行基准测试

    使用非可回答的数学问题 (UMWP) 的数据集和文本相似度与数学表达式检测相结合的方法，评估了大型语言模型 (LLMs) 在问答任务中的幻觉问题，并通过对 31 个 LLM 进行广泛实验的结果表明，上下文学习和人工反馈强化学习 (RLHF) 训练可以明显提高模型避免幻觉的能力。

    Mar, 2024

  • 自我对齐以提高事实准确性：通过自我评估减少 LLMs 中的幻觉

    探索使用自我评估和自我知识调整的自对齐方法，以增强大语言模型的事实准确性。

    Feb, 2024

  • VALOR-EVAL: 大型视觉语言模型的整体覆盖和忠实度评估

    大型视觉语言模型（LVLMs）在生成看似可信但事实上不正确的输出时存在幻觉问题，这损害了它们的可靠性。为了解决这些问题，我们介绍了一个多维度的评估基准和基于大型语言模型（LLM）的两阶段评估框架，通过对现有 LVLMs 进行实验，证明了我们的评估方法比现有工作更全面、与人类更相关，并且强调了在保持输出信息性的同时解决 LVLMs 中的幻觉问题的关键平衡。

    Apr, 2024