Oct, 2023

XFEVER：跨语言事实验证研究

PDF
TL;DR通过将 Fact Extraction and Verification (FEVER) 数据集的索赔和证据文本翻译成六种语言，我们构建了用于比较不同语言上事实验证模型的跨语言事实提取和验证（XFEVER）数据集。使用 XFEVER 数据集，本文定义了两种跨语言事实验证场景，即零样本学习和翻译训练学习，并提出了每个场景的基准模型。实验结果显示，多语言语言模型可以有效地构建不同语言上的事实验证模型，但性能因语言而异，相对英文情况稍差。我们还发现，通过考虑英语和目标语言之间的预测相似性，可以有效地减轻模型的误差校准问题。XFEVER 数据集、代码和模型检查点可在此 https URL 中获取。
cross-lingual fact extraction and verificationxfever datasetfact verification modelszero-shot learningtranslate-train learning
发现论文，激发创造
  • X-FACT：一个新的用于多语言事实检查的基准数据集

    本研究介绍了 X-FACT 数据集，这是目前最大的公开的多语言事实验证数据集，其中包含 25 种语言的短语句，并由专业事实检查者标记真实性，数据集包含多语言评估基准测试，并使用现代化的多语言变压器模型开发了多个自动事实检查模型，实证表明模型的最佳性能 F1 分数约为 40％，因此是评估多语言事实检查模型的挑战性基准测试。

    Jun, 2021

  • EX-FEVER：一个用于多跳可解释事实验证的数据集

    构建一个可解释的事实验证系统在复杂的多跳场景中始终受到相关高质量数据集的缺失的阻碍。为了解决这个问题，我们提出了 EX-FEVER，一个用于多跳可解释事实验证的先驱数据集。我们的数据集包括超过 60,000 个主张，每个主张都涉及 2 跳和 3 跳推理，每个主张都有一个真实性标签和一个解释，概述了支持真实性分类的推理路径。

    Oct, 2023

  • DeSePtion: 双序列预测和对抗样本用于改善事实检查

    本研究探讨了当前的事实检查系统面临的挑战，介绍了一种新的对抗性数据集，并提出了一种新的系统来处理多种类型的谎言，通过多个指针网络进行文档选择，并联合建模一系列证据句子和真实性关系预测，具有更优异的证据检索表现。

    Apr, 2020

  • 事实提取与验证综述

    本文研究事实检查问题，特别是 Fact Extraction and VERification (FEVER) 任务及其相关数据集。通过分析不同方法的技术视角和在 FEVER 数据集上的性能结果，我们描述了所提出的方法，重点讨论了句子检索部分的有益损失函数的识别，最终描述了未来研究的开放问题和挑战。

    Oct, 2020

  • FEVER: 一个用于事实提取和验证的大规模数据集

    本文介绍了一个新的公开可用的数据集 FEVER：事实提取和验证，它由 185,445 个主张组成，通过更改从维基百科中提取的句子并在不知道它们来自哪个句子的情况下进行验证。该数据集的挑战在于它的标注具有高度不确定性，作者开发了一种流水线方法对其进行测试，最佳的准确性达到了 31.87％。因此，FEVER 是一个具有挑战性的测试平台，可以帮助促进对文本来源的声明验证的进展。

    Mar, 2018

  • 使用 CsFEVER 和 CTKFacts 获取捷克数据进行事实验证

    本文介绍了获取捷克语数据进行自动事实核查的方法，其中提出了一种混合机器翻译和文档对齐的方法来生成一个基于 Wikipedia 的大规模 FEVER 数据集的捷克语版本，以及一种可靠应用于自然语言推理任务的 CsFEVER-NLI 版本。同时，还介绍了使用捷克新闻机构语料库对一些数据进行扩展注释，以及该数据集的基线模型和注释平台等实验数据。

    Jan, 2022

  • CFEVER：一个中文事实抽取和验证数据集

    CFEVER 是一个中文数据集，用于事实提取和验证，利用中文维基百科的内容手动创建了 30,012 个声明，并标记为 “支持”、“反驳” 或 “信息不足”，同时提供详细的证据句子。这个数据集通过 Fleiss' kappa 值（0.7934）的五向评判员一致性达到了新的高度，通过与现有方法和基准测试的实验表明，CFEVER 是一个严格的事实提取和验证基准，可用于开发自动化系统减少人工事实核查工作量。

    Feb, 2024

  • 事实提取和验证（FEVER）共享任务

    本文介绍了首个事实提取和验证（FEVER）共享任务的结果，该任务要求参与者使用从 Wikipedia 检索到的证据来判断是否可以支持或反驳人工编写的事实性声明。我们收到了来自 23 个竞争团队的条目，其中 19 个得分高于以前发布的基线。最佳表现系统的 FEVER 得分达到 64.21％。

    Nov, 2018

  • FEVEROUS: 面向结构化和非结构化信息的事实提取与验证

    本文提出了针对机器学习和自然语言处理领域中问题验证的一个新数据集和一个基线模型，数据集包含了包括非结构化文本和结构化表格在内的 87026 个证明，并详细描述了数据集中存在的偏见及模型的防范措施。

    Jun, 2021

  • UKP-Athene: 面向声明验证的多句文本蕴涵

    本文提出了一个用于验证索赔的管线方法，在文档检索中使用了一种新的实体链接方法，并引入了两个 Enhanced LSTM (ESIM) 的扩展来对索取的事实进行排名并对索赔进行分类，方法得分第三。

    Sep, 2018