Feb, 2024

Re-Ex: LLM 响应中的解释修订减少了事实错误

PDF
TL;DR我们提出了 Re-Ex 方法，它通过加入一个称为事实错误解释步骤的新步骤，使用外部工具获取事实错误的证据，并让 LLMs 解释响应的问题部分，最后使用解释来修订响应，从而减少 LLMs 生成文本的幻觉问题。与 Factool、CoVE 和 RARR 等现有方法相比，Re-Ex 在多个基准测试中提供了更好的修订性能，且所需的时间和标记数量更少。
发现论文，激发创造
  • LM vs LM: 通过交叉审查检测事实性错误

    本文提出了一种基于交叉验证的自然语言模型事实评估框架，通过多轮交互和另一个模型的提问来发现不一致性，实验证明该方法在捕捉事实错误方面优于现有方法和基线。

    May, 2023

  • 自我对齐以提高事实准确性：通过自我评估减少 LLMs 中的幻觉

    探索使用自我评估和自我知识调整的自对齐方法，以增强大语言模型的事实准确性。

    Feb, 2024

  • GenAudit：使用证据修复语言模型输出中的事实错误

    LLMs 生成错误陈述时会产生错误，我们提出了 GenAudit，这是一个旨在辅助检查 LLM 响应的工具，通过修改或删除不被参考文献支持的主张，提供参考文献中支持的事实的证据，并设计一个交互界面将建议的修改和证据呈现给用户。

    Feb, 2024

  • 通过实时验证和修正来减轻大型语言模型中的虚构问题

    我们介绍了一种名为 Ever 的新方法，通过实时检验和矫正策略，解决大语言模型生成的不准确或虚构内容的问题，并在各种任务中，包括短问题回答、传记生成和多跳推理等方面，相比基于检索和非检索的基准模型，明显提高了生成值得信赖和事实准确的文本的能力。

    Nov, 2023

  • 通过多智能体辩论实现忠实可解释的事实核查

    我们的研究调查了大型语言模型生成解释的能力，发现零样本提示通常导致不忠实的结果。为了解决这些挑战，我们提出了多代理辩论修正（MADR）框架，利用多个具有不同角色的大型语言模型作为代理，在迭代的修饰过程中提高了生成解释的忠实性。MADR 确保最终的解释经过严格验证，显著降低了不忠实元素的可能性，并与提供的证据紧密相符。实验证明，MADR 显著提高了大型语言模型生成解释与证据的忠实性，提升了这些解释的可信度和可靠性。

    Feb, 2024

  • TruthX: 在真实空间中编辑大型语言模型以减轻幻觉

    TruthX 通过编辑语言模型内部表达的真实空间，有效提高了 13 个先进语言模型在 TruthfulQA 基准测试上的真实性表现，平均提升了 20%。进一步分析表明，TruthX 获取的真实空间在控制语言模型产生真实或幻觉性回答中发挥了关键作用。

    Feb, 2024

  • LLMs 作为事实推理器：现有基准和未来展望的洞见

    通过提出新的数据集 SummEdits 来解决现有基准测试中存在的缺点，该数据集比以前的数据集更高效且高度可重复。然而，大多数 LL 模型在 SummEdits 上表现不佳，最好的 GPT-4 模型仍然比人类的表现差 8％，这凸显了 LL 模型在推理和检测事实不一致方面的能力差距。

    May, 2023

  • 基于证据的事实错误校正

    本文介绍了事实错误校正的任务和方法：通过编辑要求以便生成的改写通过证据更好地支持。使用 T5 Transformer 基于远程监督的方法，通过将证据合并到掩码声明中来训练事实错误校正系统。在一个基于最近事实验证共享任务的数据集上进行评估，结果表明我们的方法可以比现有的方法更准确地对事实错误进行校正，在人工评估中将错误校正的数量提高了 5 倍，并且 SARI 分数提高了 0.125。

    Jun, 2021

  • 基于证据的事实错误修正

    本文介绍了一个新的任务：事实错误纠正。通过将证据整合到掩码声明中进行更正，学习纠正事实错误的系统。本文中提出了一个基于 T5 变压器的两阶段远程监督方法，通过检索证据获得更好的结果，从而取得了更好的性能，并通过人类评估证明了其有效性。

    Dec, 2020

  • 大型语言模型中最小化事实不一致和幻觉

    提出了一个多阶段的框架，通过生成合理的依据并验证修正错误，将其作为支持参考生成答案，提高了 GPT-3.5-turbo 在生命科学行业药物相关查询中的响应质量。该框架使得 GPT-3.5-turbo 对两个数据集的答案更可靠和准确，并通过与商业模型进行竞争，提高了小型开放访问的 LLMs 的准确性。

    Nov, 2023