ACLMar, 2018

FEVER: 一个用于事实提取和验证的大规模数据集

PDF
TL;DR本文介绍了一个新的公开可用的数据集 FEVER：事实提取和验证，它由 185,445 个主张组成，通过更改从维基百科中提取的句子并在不知道它们来自哪个句子的情况下进行验证。该数据集的挑战在于它的标注具有高度不确定性，作者开发了一种流水线方法对其进行测试，最佳的准确性达到了 31.87％。因此，FEVER 是一个具有挑战性的测试平台，可以帮助促进对文本来源的声明验证的进展。
发现论文，激发创造
  • CFEVER：一个中文事实抽取和验证数据集

    CFEVER 是一个中文数据集，用于事实提取和验证，利用中文维基百科的内容手动创建了 30,012 个声明，并标记为 “支持”、“反驳” 或 “信息不足”，同时提供详细的证据句子。这个数据集通过 Fleiss' kappa 值（0.7934）的五向评判员一致性达到了新的高度，通过与现有方法和基准测试的实验表明，CFEVER 是一个严格的事实提取和验证基准，可用于开发自动化系统减少人工事实核查工作量。

    Feb, 2024

  • 事实提取和验证（FEVER）共享任务

    本文介绍了首个事实提取和验证（FEVER）共享任务的结果，该任务要求参与者使用从 Wikipedia 检索到的证据来判断是否可以支持或反驳人工编写的事实性声明。我们收到了来自 23 个竞争团队的条目，其中 19 个得分高于以前发布的基线。最佳表现系统的 FEVER 得分达到 64.21％。

    Nov, 2018

  • FEVEROUS: 面向结构化和非结构化信息的事实提取与验证

    本文提出了针对机器学习和自然语言处理领域中问题验证的一个新数据集和一个基线模型，数据集包含了包括非结构化文本和结构化表格在内的 87026 个证明，并详细描述了数据集中存在的偏见及模型的防范措施。

    Jun, 2021

  • 事实提取与验证综述

    本文研究事实检查问题，特别是 Fact Extraction and VERification (FEVER) 任务及其相关数据集。通过分析不同方法的技术视角和在 FEVER 数据集上的性能结果，我们描述了所提出的方法，重点讨论了句子检索部分的有益损失函数的识别，最终描述了未来研究的开放问题和挑战。

    Oct, 2020

  • DeSePtion: 双序列预测和对抗样本用于改善事实检查

    本研究探讨了当前的事实检查系统面临的挑战，介绍了一种新的对抗性数据集，并提出了一种新的系统来处理多种类型的谎言，通过多个指针网络进行文档选择，并联合建模一系列证据句子和真实性关系预测，具有更优异的证据检索表现。

    Apr, 2020

  • EX-FEVER：一个用于多跳可解释事实验证的数据集

    构建一个可解释的事实验证系统在复杂的多跳场景中始终受到相关高质量数据集的缺失的阻碍。为了解决这个问题，我们提出了 EX-FEVER，一个用于多跳可解释事实验证的先驱数据集。我们的数据集包括超过 60,000 个主张，每个主张都涉及 2 跳和 3 跳推理，每个主张都有一个真实性标签和一个解释，概述了支持真实性分类的推理路径。

    Oct, 2023

  • CLIMATE-FEVER: 用于验证现实世界气候声明的数据集

    介绍了 CLIMATE-FEVER 数据集，旨在促进和鼓励改进为气候特定声明检索证据支持的算法，应对语言理解挑战，并帮助减轻虚假信息对气候变化的影响。

    Dec, 2020

  • BEVERS: 一个通用、简单、高性能的自动事实验证框架

    本文介绍 BEVERS，一个用于 Fact Extraction and VERification 数据集的调谐基线系统，用于文档检索、句子筛选和最终主张分类，并在数据集中获得了最高的 FEVER 得分和标签正确率。此外，作者还在 Scifact 上获得了最高的标签正确率，并公开了全部代码。

    Mar, 2023

  • 使用 CsFEVER 和 CTKFacts 获取捷克数据进行事实验证

    本文介绍了获取捷克语数据进行自动事实核查的方法，其中提出了一种混合机器翻译和文档对齐的方法来生成一个基于 Wikipedia 的大规模 FEVER 数据集的捷克语版本，以及一种可靠应用于自然语言推理任务的 CsFEVER-NLI 版本。同时，还介绍了使用捷克新闻机构语料库对一些数据进行扩展注释，以及该数据集的基线模型和注释平台等实验数据。

    Jan, 2022

  • COVID-Fact: COVID-19 疫情相关真实声明的事实提取和验证

    我们介绍了一个名为 COVID-Fact 的 FEVER 风格数据集，它包含 4086 条有关 COVID-19 大流行的索赔信息，我们利用自动方法检测真实索赔和它们的来源文章，并使用自动方法生成反驳索赔，有助于检测 COVID-19 的一般错误信息。

    Jun, 2021