事实检验的可变焦问句生成
本文介绍了一个大规模的事实验证数据集 FAVIQ,并指出目前最先进的模型并不能完全解决该任务,而基于该数据的训练有助于事实核查,能在专业事实核查方面胜过目前广泛使用的数据集 FEVER 或领域内数据,为自然语言理解提供了一个具有挑战性的基准。
Jul, 2021
我们研究了事实验证(FV)的零样本和小样本泛化,目标是将在资源丰富领域(如维基百科)上训练的 FV 模型推广到缺乏人类注释的低资源领域。通过构建包含 11 个 FV 数据集的基准数据集集合,我们对这些 FV 数据集之间的泛化进行了实证分析,发现现有模型的泛化能力较差。我们的分析揭示了几个影响泛化的因素,包括数据集大小、证据长度和索赔类型。最后,我们展示了两个改进泛化能力的方法:1)通过预训练在特定领域中引入领域知识,2)通过索赔生成自动生成训练数据。
Sep, 2023
本研究关注于将复杂的政治要求分解为全面的是非子问题,通过回答这些问题来判断政治要求的真实性,提供了 ClaimDecomp 数据集和一种训练好的注释方法来研究最先进的模型生成此类子问题,这些子问题可以帮助找到相关证据以审核整个要求并推导真实性。
May, 2022
本文分析了以往的研究结果,发现 QA 基础框架在生成摘要时无法正确标定错误位置,并且由于 QG 模块生成的问题中存在非事实性错误,使问题进一步扩散。尽管进行人类辅助的问题生成也并不能轻易地解决这些问题。因此,实验结果表明,QA 框架在错误的局部化方面存在根本问题,不能仅仅通过加强 QA 和 QG 模型来解决。
Oct, 2022
本文提出了一个基于 5W 问答的可解释性事实验证框架,使用语义角色标记系统定位 5W 并生成 QA 对,我们获得了一个半自动生成的 FACTIFY-5WQA 数据集,并提出了一个基线 QA 系统自动定位从证据文件中的答案。最后,我们提出了一个强大的事实验证系统,可以对改写的声明进行自动验证。
May, 2023
该研究提出了一种主题感知证据推理和立场感知集成模型来更准确地验证事实,重点在于检查索赔和证据之间的主题一致性,维护多个证据之间的主题连贯性,确保全局主题信息和证据的语义表示之间的语义相似性,并基于证据对索赔的隐含立场聚合证据。
Jun, 2021
本文介绍了我们在 AAAI2023 的多模态事实验证(FACTIFY)挑战中的方法。我们提出了一个基于结构一致性的多模态事实验证方案来分类虚假新闻,通过随机森林分类器将特征进行合并并获得了 0.8079 的加权平均 F1 分数。
Mar, 2023
本文研究了自动事实检查的问题,关注上下文和语篇信息的影响。研究并解决了两个相关任务:检测与检查有关的声明以及检查有关的声明。开发了基于神经网络、基于内核的支持向量机和两者组合的监督系统,在输入表示方面使用了丰富的话语线索和上下文特征。从政治辩论中着重关注可检查性估计任务,并在辩论的整个干预、前面和后续转变的语境中对目标声明进行建模,考虑语境元信息。从社区论坛中关注答案验证的事实检查任务,并将答案的真实性与其所在的整个问题 - 答案线程以及来自整个论坛的其他相关帖子的真实性进行建模。我们为两个任务开发了注释数据集,并进行了广泛的实验评估,确认两种信息 (尤其是上下文特征) 发挥重要作用。
Aug, 2019