Sep, 2023

HealthFC：一份用于基于证据的医学事实核查的健康索赔数据集

PDF
TL;DR在数字时代，从互联网上获取健康相关的建议已成为一种常见做法。然而，评估在线医学声明的可靠性并找到相应的证据变得越来越具有挑战性。本文介绍了一种新颖的、由医学专家标记为真实性的并提供来自临床研究的证据支持的 750 个健康相关声明的数据集。我们分析了该数据集的特征和挑战，并提供了基于不同方法的基准模型，研究了它们的性能并讨论了相关发现，以帮助推进这一任务的自动化。该数据集可用于与自动事实核查相关的机器学习任务，例如证据检索、真实性预测和解释生成。
health-related advicetrustworthinessmedical claimsfact-checkingautomated fact-checking
发现论文，激发创造
  • 公共卫生宣称的可解释自动事实检查

    该研究是针对需要特定专业知识的领域的事实核查的第一项探索性研究，提出了可解释的事实核查模型，并针对公共卫生领域构建了一个新的数据集进行案例研究，结果表明，通过对特定领域的数据进行训练，可以提高自动化事实核查的可解释性。

    Oct, 2020

  • MultiFC: 一个真实世界的多领域数据集，用于基于证据的声明事实核查

    本研究提供了最大的公共数据集，用于自动声明验证，从 26 个英文事实检查网站中收集，标记了真实性，并使用人工专家记者，结果显示自动排名证据页面和预测真实性的新方法胜过所有基线。

    Sep, 2019

  • Monant 医疗错误信息数据集：将文章映射到事实核查的声明

    该研究发表了一篇医疗虚假信息数据集的机器学习处理方法，其中包含了 317k 篇医疗文章和 3.5k 个经过事实核查的声明，并且提供了 573 个人工标注和 51k 个自动标注的声明与文章之间的映射，这些映射包括声明是否出现在给定文章中以及文章对声明的态度。该数据集可以用于医疗虚假信息的特征研究和来自不同来源的虚假信息传播的研究。

    Apr, 2022

  • COVID-Fact: COVID-19 疫情相关真实声明的事实提取和验证

    我们介绍了一个名为 COVID-Fact 的 FEVER 风格数据集，它包含 4086 条有关 COVID-19 大流行的索赔信息，我们利用自动方法检测真实索赔和它们的来源文章，并使用自动方法生成反驳索赔，有助于检测 COVID-19 的一般错误信息。

    Jun, 2021

  • CHEF: 一个面向基于证据的事实核查的中文数据集

    为弥合中文数据集和工具欠缺的鸿沟，本文构建了 CHEF 作为第一个涵盖政治，公共卫生等多个领域的中文证据支持事实核查数据集，并提出了可作为潜在变量的证据检索、事实预测模型的端到端新方法，广泛实验表明 CHEF 具有很强的挑战性，适用于对非英文主张进行证据检索和推理的事实核查系统的开发。

    Jun, 2022

  • 验证科学主张：事实或虚构

    科学的论断验证是一个新的任务，其目的是从研究文献中选择包含支持或驳斥给定科学论断的摘要，并确定证据。为了研究这个任务，我们构建了 SciFact 数据集，其中包括 1.4K 个专家撰写的科学论断，以及用标签和论据注释的含有证据的摘要。我们开发了 SciFact 的基线模型，并证明简单的领域适应技术可以大大提高性能，并能够使用 CORD-19 语料库鉴定与 COVID-19 相关的声明。我们的实验表明，SciFact 将为设计用于检索和推理包含专业领域知识的语料库的新系统提供具有挑战性的测试平台。

    Apr, 2020

  • FEVER: 一个用于事实提取和验证的大规模数据集

    本文介绍了一个新的公开可用的数据集 FEVER：事实提取和验证，它由 185,445 个主张组成，通过更改从维基百科中提取的句子并在不知道它们来自哪个句子的情况下进行验证。该数据集的挑战在于它的标注具有高度不确定性，作者开发了一种流水线方法对其进行测试，最佳的准确性达到了 31.87％。因此，FEVER 是一个具有挑战性的测试平台，可以帮助促进对文本来源的声明验证的进展。

    Mar, 2018

  • 从信息查询问题进行事实验证

    本文介绍了一个大规模的事实验证数据集 FAVIQ，并指出目前最先进的模型并不能完全解决该任务，而基于该数据的训练有助于事实核查，能在专业事实核查方面胜过目前广泛使用的数据集 FEVER 或领域内数据，为自然语言理解提供了一个具有挑战性的基准。

    Jul, 2021

  • 基于证据的现实世界信息需求验证

    论文介绍了一种新的认领审核数据集，其中包括来自搜索引擎查询的实例，共包含 10,987 个带有证据的主张，证据来自完整的维基百科文章，注释具有章节和句子级别的细粒度，通过总体评估，作者发现使用证据提取来总结最终用户的理由时，预测主张真实性的准确性并没有明显差异，此数据集还存在挑战性问题，作者在转移学习实验中进行了证明

    Apr, 2021

  • 在网上健康建议中分类实体的方法

    本文作者发布了一个新的已注释数据集 HealthE，该数据集对公共卫生相关文本的实体标签空间进行了更精细的标记，同时介绍了一个新的实体分类模型 EP S-BERT，在实体类别分类中利用了文本上下文模式。该模型的 F1 评分比最近的基线模型提高了 4 个百分点，在与从临床文本中提取疾病和药物提及的训练好的现成医疗 NER 工具相比时， F1 评分提高了 34 个百分点，且所有代码和数据均在 Github 上公开。

    Oct, 2022