Mar, 2023

WiCE：维基百科索赔的真实世界蕴含关系

PDF
TL;DR提出了 WiCE 文本蕴涵数据集，该数据集围绕在文本中验证声明，建立在维基百科的现实声明和证据基础之上，并通过 GPT-3 将假设分解成子句单元，每个单元都与源文档中的证据句子的一个子集标记。通过这个数据集，我们展示了真实声明涉及具有挑战性的验证问题，并对这个数据集上现有方法进行了基准测试。此外，我们表明，通过 GPT-3 分解声明可以在各个领域上提高蕴含模型的性能。
textual entailmentwice datasetfact-checkingverificationgpt-3
发现论文，激发创造
  • 基于证据的现实世界信息需求验证

    论文介绍了一种新的认领审核数据集，其中包括来自搜索引擎查询的实例，共包含 10,987 个带有证据的主张，证据来自完整的维基百科文章，注释具有章节和句子级别的细粒度，通过总体评估，作者发现使用证据提取来总结最终用户的理由时，预测主张真实性的准确性并没有明显差异，此数据集还存在挑战性问题，作者在转移学习实验中进行了证明

    Apr, 2021

  • AVeriTeC：一份集合了网络证据的真实世界主张验证数据集

    本文介绍了一个新的数据集 AVeriTeC，包含 4,568 个来自 50 个不同机构的真实事实核查内容，每个内容都包含了来自在线可用资源的支持性证据和文本理由，以及多轮注释过程中的评审结果，提供了一个基于多个问题回答步骤的基线和模型评估，旨在弥补目前自动事实核查数据集的缺陷。

    May, 2023

  • WebIE: 在网络上进行忠实和稳健的信息提取

    本文提出了 WebIE 数据集，其中包括 1.6M 个句子及其详细注释。基于此数据集，我们评估了基于生成模型的信息提取模型的跨域和跨语言性能，并提出了三种训练策略。我们的实验表明，实体链接方式得到明显提高。

    May, 2023

  • 自动基于事实的句子修改

    本文提出了使用两阶段方法来重写包含大量文本的在线百科全书，通过识别和去除矛盾组件，并使用一种新颖的双编码器序列到序列模型进行扩展，以生成一致性更新的句子。实验结果表明，该方法成功地生成了新的索赔的更新语句，并通过增加重新编写的句子生成合成数据，从而成功地增加了 FEVER 事实检查培训数据集的相对误差降低了 13%。

    Sep, 2019

  • 视觉蕴涵：一种精细图像理解的新任务

    本文介绍了一个新的推理任务 Visual Entailment（VE），并构建了一个数据集 SNLI-VE，用于评估已有的 VQA 基线和构建了一个名为 EVE 的模型来解决 VE 任务，这个模型达到了 71% 的准确率并展示了 EVE 通过跨模态注意力可解释性的效果。

    Jan, 2019

  • WikiSQE：维基百科句子质量评估的大规模数据集

    提出第一个 Wikipedia 句子质量评估的大规模数据集 WikiSQE，包含了约 340 万句子和 153 个质量标签，并通过机器学习模型进行了实验自动分类，显示具有引文、句法 / 语义或命题问题的句子更难以检测，该数据集在自动化的文章评分实验中表现出更好的泛化性能，并有望成为自然语言处理中其他任务的有价值的资源。

    May, 2023

  • 在对象预测中进行有效三元验证的文本蕴涵

    使用文本蕴涵来验证从语言模型通过填充式语句中提取的事实，结果表明基于文本蕴涵的三元验证改进了语言模型的预测能力。

    Jan, 2024

  • 语义问答中千万姓名对一百万实体的评估

    我们介绍了一个语义实体相似度数据集 WES，其中包含 11M 个例子，专注于领域，旨在评估 QA：这些例子是实体和短语，分组为语义聚类以模拟多个 ground-truth 标签，用于预测人类正确性判断的基本交叉编码器度量优于四个经典度量。

    Feb, 2022

  • 超越事实验证：比较争议话题上的不同主张

    本研究提出了一种名为 ClaimDiff 的新的数据集，用于比较包含微妙差别的主张对之间的区别，并帮助人们在各种媒体来源中做出更明智的决策。

    May, 2022

  • UKP-Athene: 面向声明验证的多句文本蕴涵

    本文提出了一个用于验证索赔的管线方法，在文档检索中使用了一种新的实体链接方法，并引入了两个 Enhanced LSTM (ESIM) 的扩展来对索取的事实进行排名并对索赔进行分类，方法得分第三。

    Sep, 2018