May, 2022

生成针对复杂主张进行事实检查的字面和隐含子问题

PDF
TL;DR本研究关注于将复杂的政治要求分解为全面的是非子问题，通过回答这些问题来判断政治要求的真实性，提供了 ClaimDecomp 数据集和一种训练好的注释方法来研究最先进的模型生成此类子问题，这些子问题可以帮助找到相关证据以审核整个要求并推导真实性。
automatic fact-checking systemsclaimdecomp datasetveracitysubquestionspolitical context
发现论文，激发创造
  • 基于表格的事实验证探索分解

    本文提出了一种分解复杂语句为简单子问题，并以程序为指导构建伪数据集进行分解模型训练的方法，从而增强事实验证模型的中间证据，通过实验证明，在 TabFact 基准测试中取得了 82.7％的最新最佳性能。

    Sep, 2021

  • 深入研究索赔分解

    研究探讨了生成文本的外部知识支持度评估方法，发现该评估方法对于存证方法的选择非常敏感，并提出了一种改进方法来提高分解质量。

    Mar, 2024

  • 掌握复杂问题 ABCD：基于答案的主张分解进行细粒度自我评估

    本文介绍了一种针对大型语言模型生成的答案自我评估技术，即 ABCD，该技术通过将复杂问题分解为一系列真假命题来验证模型生成的答案是否满足所有的问题标准， 并进行精细化评估，实验证明该技术可以帮助发现模型的错误和知识盲区。

    May, 2023

  • 从野外获取证据进行的复杂索赔验证

    本文提出了一种完全自动化的流水线，通过从 Web 检索原始证据来检查实际世界中的索赔，结果表明，我们的流水线可以提供可靠且相关的证据摘要，从而帮助事实检查员甄别真假索赔。

    May, 2023

  • 从信息查询问题进行事实验证

    本文介绍了一个大规模的事实验证数据集 FAVIQ，并指出目前最先进的模型并不能完全解决该任务，而基于该数据的训练有助于事实核查，能在专业事实核查方面胜过目前广泛使用的数据集 FEVER 或领域内数据，为自然语言理解提供了一个具有挑战性的基准。

    Jul, 2021

  • 生成事实检查解释

    本文针对自动事实检测的不足之处，提供了首个研究可利用可用的声明上下文生成自动化证明，并且演示了一项同时优化判断准确性预测和证明生成的多任务模型平均性能更好。

    Apr, 2020

  • 重新审视用于基于 NLI 的摘要事实评分的文本分解方法

    本文系统地比较了将事实性分值应用于分解的不同粒度，并表明不是所有数据集都适用于将上下文信息集成到模型中的方法。

    Nov, 2022

  • 问题分解提高模型生成推理的可信度

    通过将问题分解为子问题，强迫模型在不同的上下文中回答简单的子问题，可以显著提高模型生成推理的可靠性，并在一定程度上提升效能，从而有望验证 LLM 行为的正确性和安全性。

    Jul, 2023

  • 基于程序引导推理的事实核查复杂声明

    本文提出了一种 Program-Guided Fact-Checking（ProgramFC）模型，通过生成推理程序指导验证过程并将每个子任务委托给相应的子任务处理程序，将复杂的索赔分解为更简单的子任务，从而使我们的模型具有解释性和数据效率，并在两个具有挑战性的事实核查数据集上进行评估，展现了优于七种事实核查基线的表现，通过显式输出程序有利于人工调试。

    May, 2023

  • 超越事实验证：比较争议话题上的不同主张

    本研究提出了一种名为 ClaimDiff 的新的数据集，用于比较包含微妙差别的主张对之间的区别，并帮助人们在各种媒体来源中做出更明智的决策。

    May, 2022