本文介绍了一个新的公开可用的数据集 FEVER：事实提取和验证，它由 185,445 个主张组成，通过更改从维基百科中提取的句子并在不知道它们来自哪个句子的情况下进行验证。该数据集的挑战在于它的标注具有高度不确定性，作者开发了一种流水线方法对其进行测试，最佳的准确性达到了 31.87％。因此，FEVER 是一个具有挑战性的测试平台，可以帮助促进对文本来源的声明验证的进展。

Mar, 2018

CFEVER 是一个中文数据集，用于事实提取和验证，利用中文维基百科的内容手动创建了 30,012 个声明，并标记为 “支持”、“反驳” 或 “信息不足”，同时提供详细的证据句子。这个数据集通过 Fleiss' kappa 值（0.7934）的五向评判员一致性达到了新的高度，通过与现有方法和基准测试的实验表明，CFEVER 是一个严格的事实提取和验证基准，可用于开发自动化系统减少人工事实核查工作量。

Feb, 2024

本文研究事实检查问题，特别是 Fact Extraction and VERification (FEVER) 任务及其相关数据集。通过分析不同方法的技术视角和在 FEVER 数据集上的性能结果，我们描述了所提出的方法，重点讨论了句子检索部分的有益损失函数的识别，最终描述了未来研究的开放问题和挑战。

Oct, 2020

通过将 Fact Extraction and Verification (FEVER) 数据集的索赔和证据文本翻译成六种语言，我们构建了用于比较不同语言上事实验证模型的跨语言事实提取和验证（XFEVER）数据集。使用 XFEVER 数据集，本文定义了两种跨语言事实验证场景，即零样本学习和翻译训练学习，并提出了每个场景的基准模型。实验结果显示，多语言语言模型可以有效地构建不同语言上的事实验证模型，但性能因语言而异，相对英文情况稍差。我们还发现，通过考虑英语和目标语言之间的预测相似性，可以有效地减轻模型的误差校准问题。XFEVER 数据集、代码和模型检查点可在此 https URL 中获取。

Oct, 2023

该论文提出了一个连接的系统，包括三个同构神经语义匹配模型，用于联合进行文献检索、句子选择和索证，以进行事实提取和验证。实验结果表明，该神经语义匹配方法在所有证据检索指标上都显著超越了常见的 TF-IDF 和编码器模型，并通过提供内部语义关联得分和词汇网特征等方法，改进了 NLI 模型的性能，从而在 FEVER 测试集上取得了最优结果。

Nov, 2018

本研究探讨了当前的事实检查系统面临的挑战，介绍了一种新的对抗性数据集，并提出了一种新的系统来处理多种类型的谎言，通过多个指针网络进行文档选择，并联合建模一系列证据句子和真实性关系预测，具有更优异的证据检索表现。

Apr, 2020

本文提出了针对机器学习和自然语言处理领域中问题验证的一个新数据集和一个基线模型，数据集包含了包括非结构化文本和结构化表格在内的 87026 个证明，并详细描述了数据集中存在的偏见及模型的防范措施。

Jun, 2021

介绍 Verifee 数据集，其中分类了四种不同的新闻可信度等级，通过调整多种流行序列到序列语言模型，在信任度分类任务中达到了最佳的 F-1 得分 0.52，并通过开源数据集和注释方法有助于防止虚假报道和提高公众媒体素养。

Dec, 2022

本文介绍了首个事实提取和验证（FEVER）共享任务的结果，该任务要求参与者使用从 Wikipedia 检索到的证据来判断是否可以支持或反驳人工编写的事实性声明。我们收到了来自 23 个竞争团队的条目，其中 19 个得分高于以前发布的基线。最佳表现系统的 FEVER 得分达到 64.21％。

Nov, 2018

通过构建 ViWikiFC，我们首次为越南维基百科建立了一个手动注释的开放领域语料库，其中收录了超过 20K 个索证句，经由从维基百科文章提取的证据句生成。我们分析了我们的语料库的各个语言方面，包括新的依赖率、新的 n-gram 率和新的词汇率。我们进行了各种越南事实核查的实验，包括证据检索和判断预测。BM25 和 InfoXLM（Large）在两个任务中取得了最佳结果，其中 BM25 在证据检索任务中的 SUPPORTS 准确率为 88.30%，REFUTES 准确率为 86.93%，NEI 标签仅为 56.67%；InfoXLM（Large）在检索任务中取得了 86.51% 的 F1 分数。此外，我们还进行了一种流水线方法，但只有在使用 InfoXLM（Large）和 BM25 时，严格准确率达到了 67.00%。这些结果证明了我们的数据集对于越南语言模型在事实核查任务中是具有挑战性的。

May, 2024