EMNLPAug, 2019

面向去偏置事实验证模型

PDF
TL;DR在研究中，我们发现在常见的 FEVER 数据集中，仅针对声明的分类器与最佳证据感知模型具有相似的性能。为了解决这种现象，我们开发了一个评估集并引入了一种正则化方法以减少训练数据中偏差的影响，并取得了进展。该工作是朝着更加可靠地评估事实验证模型的推理能力迈出的一步。
fact verificationfever datasetregularization methodtraining data biasreasoning capabilities
发现论文，激发创造
  • FEVER: 一个用于事实提取和验证的大规模数据集

    本文介绍了一个新的公开可用的数据集 FEVER：事实提取和验证，它由 185,445 个主张组成，通过更改从维基百科中提取的句子并在不知道它们来自哪个句子的情况下进行验证。该数据集的挑战在于它的标注具有高度不确定性，作者开发了一种流水线方法对其进行测试，最佳的准确性达到了 31.87％。因此，FEVER 是一个具有挑战性的测试平台，可以帮助促进对文本来源的声明验证的进展。

    Mar, 2018

  • 事实提取与验证综述

    本文研究事实检查问题，特别是 Fact Extraction and VERification (FEVER) 任务及其相关数据集。通过分析不同方法的技术视角和在 FEVER 数据集上的性能结果，我们描述了所提出的方法，重点讨论了句子检索部分的有益损失函数的识别，最终描述了未来研究的开放问题和挑战。

    Oct, 2020

  • DeSePtion: 双序列预测和对抗样本用于改善事实检查

    本研究探讨了当前的事实检查系统面临的挑战，介绍了一种新的对抗性数据集，并提出了一种新的系统来处理多种类型的谎言，通过多个指针网络进行文档选择，并联合建模一系列证据句子和真实性关系预测，具有更优异的证据检索表现。

    Apr, 2020

  • FEVEROUS: 面向结构化和非结构化信息的事实提取与验证

    本文提出了针对机器学习和自然语言处理领域中问题验证的一个新数据集和一个基线模型，数据集包含了包括非结构化文本和结构化表格在内的 87026 个证明，并详细描述了数据集中存在的偏见及模型的防范措施。

    Jun, 2021

  • 针对事实提取和验证的对抗攻击

    本文的 FEVER2.0 基准测试通过生成针对系统的对抗性攻击探索了 NN 模型在事实提取和验证任务中的鲁棒性，结果表明深度神经网络在处理 pattren 异常的样本时效果较差，提出对这类攻击进行研究有助于构建更健壮的事实检查模型，同时建议扩展数据集。

    Mar, 2019

  • RerrFact: 用于科学论述验证的减少证据检索表示

    通过提取和融合来源摘要的相关证据理由，提出了一种调用二分类序列逐个进行预测子任务的模块化方法，从而实现科学主张的自动验证，包括验证支持和反驳证据，该方法名为 RerrFact，并平台竞争 SciFact 排行榜。

    Feb, 2022

  • EX-FEVER：一个用于多跳可解释事实验证的数据集

    构建一个可解释的事实验证系统在复杂的多跳场景中始终受到相关高质量数据集的缺失的阻碍。为了解决这个问题，我们提出了 EX-FEVER，一个用于多跳可解释事实验证的先驱数据集。我们的数据集包括超过 60,000 个主张，每个主张都涉及 2 跳和 3 跳推理，每个主张都有一个真实性标签和一个解释，概述了支持真实性分类的推理路径。

    Oct, 2023

  • BEVERS: 一个通用、简单、高性能的自动事实验证框架

    本文介绍 BEVERS，一个用于 Fact Extraction and VERification 数据集的调谐基线系统，用于文档检索、句子筛选和最终主张分类，并在数据集中获得了最高的 FEVER 得分和标签正确率。此外，作者还在 Scifact 上获得了最高的标签正确率，并公开了全部代码。

    Mar, 2023

  • 事实核实与假新闻检测之间的联系

    本研究提出了一种简单而有效的方法，在利用先前已经训练好了的模型的基础上，通过使用文本摘要模型将长新闻文章缩短成一个短主张来连接事实验证和假新闻检测，并通过检测更轻松实现零研究用数据的假新闻检测。在 FakenewsNet 数据集上进行的实验结果表明，本研究提出的方法具有很好的效果。

    Oct, 2020

  • 从信息查询问题进行事实验证

    本文介绍了一个大规模的事实验证数据集 FAVIQ，并指出目前最先进的模型并不能完全解决该任务，而基于该数据的训练有助于事实核查，能在专业事实核查方面胜过目前广泛使用的数据集 FEVER 或领域内数据，为自然语言理解提供了一个具有挑战性的基准。

    Jul, 2021