生成事实核查简报
在社交媒体如此发达的时代,我们提出了一个新的流程,其中部分自动化事实检查的生命周期可以节省人力和高认知任务。我们的方法是利用抽象摘要生成简洁的查询,这些查询可以在基于现有已核查实事的数据集的检索系统中执行。通过使用现有的摘要模型进行微调和开箱既食的摘要模型,我们获得了具有更好的检索表现,检索准确率提高了 3 倍,而基于原文查询的准确率仅为 10%。
Sep, 2022
自动化生成证明(说明为何某主张被分类为真或假)的过程在抵制虚假信息方面起到重要作用,这篇论文针对无结构知识(如新闻文章)的摘要方法进行了实验证明,结果显示,通过基于主张信息的抽取步骤改善摘要性能可以从证明生成摘要中获益。
Aug, 2023
本文介绍了一个大规模的事实验证数据集 FAVIQ,并指出目前最先进的模型并不能完全解决该任务,而基于该数据的训练有助于事实核查,能在专业事实核查方面胜过目前广泛使用的数据集 FEVER 或领域内数据,为自然语言理解提供了一个具有挑战性的基准。
Jul, 2021
通过对 fact-checkers 的语言特征进行分析和提出建议,使用基于深度学习的文本生成框架来生成可以提高辨别信息真假的参与度的回复,提高了辨别真假信息的准确度。
Oct, 2019
本文综述了基于自然语言处理的自动事实核查技术及其在相关学科里的应用。该技术使用自然语言处理、机器学习、知识表示和数据库等技术预测声称的可信度,同时介绍了现有数据集和模型,旨在统一各种定义并识别通用概念,最后提出了未来研究的挑战。
Aug, 2021
本文介绍了一个用于事实核查的自动化平台,该平台能够检索相关文本证据,预测每个证据是否支持或反驳一个声明,并返回最终结论。此外,本文还对这个平台在新闻工作流中的应用进行了用户研究,并为其性能作出了评估。结果表明,该平台的预测正确率为 58%,返回的证据中有 59%是相关的。
Apr, 2019
本文介绍自动事实核查在互联网内容管理中的重要性,提出了面向缺陷的事实核查任务并引入了专门设计的框架 RefuteClaim,通过提取和转换专家审查的见解,创造了用于该任务的数据集 FlawCheck,并实验证明了 RefuteClaim 在分类和阐明虚假主张方面的有效性。
Jan, 2024
提出了一种使用外部来源进行全自动事实核查的通用框架,该框架利用深度神经网络和 LSTM 文本编码结合任务特定的嵌入来判断声称的真实性,并将来自 Web 的相关文本片段融合其中,考虑其来源可靠性,在两个任务和数据集上均表现不错。
Oct, 2017
通过构建 ViWikiFC,我们首次为越南维基百科建立了一个手动注释的开放领域语料库,其中收录了超过 20K 个索证句,经由从维基百科文章提取的证据句生成。我们分析了我们的语料库的各个语言方面,包括新的依赖率、新的 n-gram 率和新的词汇率。我们进行了各种越南事实核查的实验,包括证据检索和判断预测。BM25 和 InfoXLM(Large)在两个任务中取得了最佳结果,其中 BM25 在证据检索任务中的 SUPPORTS 准确率为 88.30%,REFUTES 准确率为 86.93%,NEI 标签仅为 56.67%;InfoXLM(Large)在检索任务中取得了 86.51% 的 F1 分数。此外,我们还进行了一种流水线方法,但只有在使用 InfoXLM(Large)和 BM25 时,严格准确率达到了 67.00%。这些结果证明了我们的数据集对于越南语言模型在事实核查任务中是具有挑战性的。
May, 2024