EMNLPApr, 2020

验证科学主张：事实或虚构

PDF
TL;DR科学的论断验证是一个新的任务，其目的是从研究文献中选择包含支持或驳斥给定科学论断的摘要，并确定证据。为了研究这个任务，我们构建了 SciFact 数据集，其中包括 1.4K 个专家撰写的科学论断，以及用标签和论据注释的含有证据的摘要。我们开发了 SciFact 的基线模型，并证明简单的领域适应技术可以大大提高性能，并能够使用 CORD-19 语料库鉴定与 COVID-19 相关的声明。我们的实验表明，SciFact 将为设计用于检索和推理包含专业领域知识的语料库的新系统提供具有挑战性的测试平台。
发现论文，激发创造
  • RerrFact: 用于科学论述验证的减少证据检索表示

    通过提取和融合来源摘要的相关证据理由，提出了一种调用二分类序列逐个进行预测子任务的模块化方法，从而实现科学主张的自动验证，包括验证支持和反驳证据，该方法名为 RerrFact，并平台竞争 SciFact 排行榜。

    Feb, 2022

  • SciFact-Open: 面向开放领域的科学主张验证

    本文介绍了一种新型测试集 SciFact-Open，通过信息检索中的池化技术和四种先进的科学主张验证模型的预测，评估了科学主张验证系统在 50 万个研究摘要的语料库上的表现，发现在 SciFact-Open 上进行测试要比在更小的语料库上进行测试更具挑战性。

    Oct, 2022

  • SciVer 科学声明验证共享任务的概述和见解

    本文概述了在第二届 NAACL 2021 学术文档处理（SDP）研讨会上介绍的 SciVer 共享任务，在该任务中，系统需要识别支持或反驳科学论断的文章以及提供证明标签的证据句子。11 个团队共提交了 14 份成果，主要任务评估指标上的 F1 分数有了超过 23 的提升。除了调查参与系统外，我们还提供了一些模型方法的见解，以支持科学主张验证这一重要而具有挑战性的任务的持续进展和未来研究。

    Jul, 2021

  • COVID-Fact: COVID-19 疫情相关真实声明的事实提取和验证

    我们介绍了一个名为 COVID-Fact 的 FEVER 风格数据集，它包含 4086 条有关 COVID-19 大流行的索赔信息，我们利用自动方法检测真实索赔和它们的来源文章，并使用自动方法生成反驳索赔，有助于检测 COVID-19 的一般错误信息。

    Jun, 2021

  • 基于证据的现实世界信息需求验证

    论文介绍了一种新的认领审核数据集，其中包括来自搜索引擎查询的实例，共包含 10,987 个带有证据的主张，证据来自完整的维基百科文章，注释具有章节和句子级别的细粒度，通过总体评估，作者发现使用证据提取来总结最终用户的理由时，预测主张真实性的准确性并没有明显差异，此数据集还存在挑战性问题，作者在转移学习实验中进行了证明

    Apr, 2021

  • 基于段落的科学事实验证多任务学习模型

    本文提出了一种基于 BERT 模型的句子级多任务学习模型，可用于事实验证任务，并通过联合训练模型的理由选择和态度预测来实现反击社交媒体或新闻网站上不断传播的错误信息的目的。

    Dec, 2020

  • 从信息查询问题进行事实验证

    本文介绍了一个大规模的事实验证数据集 FAVIQ，并指出目前最先进的模型并不能完全解决该任务，而基于该数据的训练有助于事实核查，能在专业事实核查方面胜过目前广泛使用的数据集 FEVER 或领域内数据，为自然语言理解提供了一个具有挑战性的基准。

    Jul, 2021

  • 事实提取与验证综述

    本文研究事实检查问题，特别是 Fact Extraction and VERification (FEVER) 任务及其相关数据集。通过分析不同方法的技术视角和在 FEVER 数据集上的性能结果，我们描述了所提出的方法，重点讨论了句子检索部分的有益损失函数的识别，最终描述了未来研究的开放问题和挑战。

    Oct, 2020

  • Check-COVID: 用科学证据核实 COVID-19 新闻声明

    我们提出一个名为 Check-COVID 的新的事实核查基准，用于验证新闻中有关 COVID-19 的声明，需要使用来自科学文章的证据。该基准包含 1,504 个有关冠状病毒的专家注释新闻声明及其句子级证据，并包括从期刊文章中提取（记者写作）和组成（注释器写作）声明。使用针对事实核查的专用系统和 GPT-3.5 进行的实验，分别在这个任务上获得了 76.99 和 69.90 的 F1 分数，揭示了自动进行事实核查的挑战性，表明很重要的是对领域数据的理解和应用。我们的数据和模型在此 https 网址上公开发布。

    May, 2023

  • 超越事实验证：比较争议话题上的不同主张

    本研究提出了一种名为 ClaimDiff 的新的数据集，用于比较包含微妙差别的主张对之间的区别，并帮助人们在各种媒体来源中做出更明智的决策。

    May, 2022