ACLOct, 2021

DialFact：对话事实核查基准

PDF
TL;DR通过构建一个名为 DialFact 的测试基准数据集，该数据集包含了 22,245 个带注释的对话声明和来自维基百科的证据片段，并提出了在对话中事实核查的三个子任务：可验证的声明检测、证据检索和索取的内容足够详细的陈述是否被支持。针对 DialFact 的独特挑战，本文提出了一种简单而数据效率高的解决方案，以有效提高对话中的事实核查性能。
fact-checkingdialoguedialfactverifiable claim detectionevidence retrieval
发现论文，激发创造
  • 对话中的自动事实核查：需要专门的模型吗？

    利用检索适应和转换对话输入的技术，使得典型事实核查模型在对话和独立断言上都能保持准确性，与对话精细调整模型相比具有竞争力。

    Nov, 2023

  • 超越事实验证：比较争议话题上的不同主张

    本研究提出了一种名为 ClaimDiff 的新的数据集，用于比较包含微妙差别的主张对之间的区别，并帮助人们在各种媒体来源中做出更明智的决策。

    May, 2022

  • 检测不需要事实判断的响应生成

    大型语言模型在对话中实现吸引力和真实性的研究，通过众包创建了一个对话数据集，用于分类任务，并且最高分类准确率达到了 88%。

    Jun, 2024

  • 参考文献的重要性：使用细粒度评估框架对对话摘要的事实纠错进行基准测试

    本文提出 FERRANTI 框架，基于参考文献纠错的细粒度评估机制，通过实验证明了 FEC 方法在不同事实错误类别上的显著性能差异，以及提出的最佳训练模式。

    Jun, 2023

  • 验证科学主张：事实或虚构

    科学的论断验证是一个新的任务，其目的是从研究文献中选择包含支持或驳斥给定科学论断的摘要，并确定证据。为了研究这个任务，我们构建了 SciFact 数据集，其中包括 1.4K 个专家撰写的科学论断，以及用标签和论据注释的含有证据的摘要。我们开发了 SciFact 的基线模型，并证明简单的领域适应技术可以大大提高性能，并能够使用 CORD-19 语料库鉴定与 COVID-19 相关的声明。我们的实验表明，SciFact 将为设计用于检索和推理包含专业领域知识的语料库的新系统提供具有挑战性的测试平台。

    Apr, 2020

  • 检测先前事实核查过的言论

    本研究主要讨论了解决当前网络上 “假新闻” 和政客言论真实性验证的问题，提出了一种基于学习排序模型的检索算法，并建立了一个相关数据集，实验结果表明该方法优于现有的基于检索和文本相似度的算法。

    May, 2020

  • 从信息查询问题进行事实验证

    本文介绍了一个大规模的事实验证数据集 FAVIQ，并指出目前最先进的模型并不能完全解决该任务，而基于该数据的训练有助于事实核查，能在专业事实核查方面胜过目前广泛使用的数据集 FEVER 或领域内数据，为自然语言理解提供了一个具有挑战性的基准。

    Jul, 2021

  • 科学事实核查：资源和方法综述

    本文介绍了现有科学事实检查研究的综合调查及其相关任务，讨论现有数据集的构建过程，并分析提出的模型和方法，以期通过基于 NLP 的自动化科学事实检查方法帮助打击信息误传，协助研究人员进行知识发现，并帮助人们了解新的科学突破。

    May, 2023

  • 事实提取与验证综述

    本文研究事实检查问题，特别是 Fact Extraction and VERification (FEVER) 任务及其相关数据集。通过分析不同方法的技术视角和在 FEVER 数据集上的性能结果，我们描述了所提出的方法，重点讨论了句子检索部分的有益损失函数的识别，最终描述了未来研究的开放问题和挑战。

    Oct, 2020

  • 使用上下文和语篇信息进行自动事实检查

    本文研究了自动事实检查的问题，关注上下文和语篇信息的影响。研究并解决了两个相关任务：检测与检查有关的声明以及检查有关的声明。开发了基于神经网络、基于内核的支持向量机和两者组合的监督系统，在输入表示方面使用了丰富的话语线索和上下文特征。从政治辩论中着重关注可检查性估计任务，并在辩论的整个干预、前面和后续转变的语境中对目标声明进行建模，考虑语境元信息。从社区论坛中关注答案验证的事实检查任务，并将答案的真实性与其所在的整个问题 - 答案线程以及来自整个论坛的其他相关帖子的真实性进行建模。我们为两个任务开发了注释数据集，并进行了广泛的实验评估，确认两种信息 (尤其是上下文特征) 发挥重要作用。

    Aug, 2019