ACLMay, 2023

Check-COVID: 用科学证据核实 COVID-19 新闻声明

TL;DR我们提出一个名为 Check-COVID 的新的事实核查基准,用于验证新闻中有关 COVID-19 的声明,需要使用来自科学文章的证据。该基准包含 1,504 个有关冠状病毒的专家注释新闻声明及其句子级证据,并包括从期刊文章中提取(记者写作)和组成(注释器写作)声明。使用针对事实核查的专用系统和 GPT-3.5 进行的实验,分别在这个任务上获得了 76.99 和 69.90 的 F1 分数,揭示了自动进行事实核查的挑战性,表明很重要的是对领域数据的理解和应用。我们的数据和模型在此 https 网址上公开发布。