ACLMay, 2021

通过声明生成进行零射击事实验证

PDF
TL;DR使用 Wikipedia 自动产生问题 - 答案对，生成不同类型的声明的 QACG 框架可以训练一个强健的事实验证模型，实验结果表明，在零样本情况下，QACG 能够将 RoBERTa 模型的 F1 从 50％提高到 77％，并且等效于 2000 多个手动筛选的例子。
automated fact verificationneural modelsqacgwikipediazero-shot scenario
发现论文，激发创造
  • 基于语义三元组和知识图谱的零 - shot 事实检查

    本文提出了一种新的零射击方法，将声称和证据句子转化为语义三元组并使用大型语言模型进行自然语言推理，从而在没有特定训练数据的敌对数据集和领域中广义推广，在 FEVER、FEVER-Symmetric、FEVER 2.0 和 Climate-FEVER 数据集上优于先前的零射击方法，同时在敌对和异域数据集上与监督模型相当甚至更好。

    Dec, 2023

  • 生成零样本科学事实检查的科学主张

    本文提出了科学申明生成任务，旨在从科学句子中生成一个或多个原子可验证主张，并证明其在生物医学声称的零 - shot 事实检查中的有效性，提出了以下三种方法 CLAIMGEN-BART、KBIN 和 CLAIMGEN-ENTITY，其在事实检查上表现良好。

    Mar, 2022

  • 用于几乎任何语言的自动事实核查的流水线和数据集生成

    利用可公开获得的语言模型和数据，本文提出了一种自动事实核查的管道，目的是使用来自基本证据语料库的证据评估文本主张的准确性。

    Dec, 2023

  • 从信息查询问题进行事实验证

    本文介绍了一个大规模的事实验证数据集 FAVIQ，并指出目前最先进的模型并不能完全解决该任务，而基于该数据的训练有助于事实核查，能在专业事实核查方面胜过目前广泛使用的数据集 FEVER 或领域内数据，为自然语言理解提供了一个具有挑战性的基准。

    Jul, 2021

  • 研究事实验证中的零样本和少样本泛化能力

    我们研究了事实验证（FV）的零样本和小样本泛化，目标是将在资源丰富领域（如维基百科）上训练的 FV 模型推广到缺乏人类注释的低资源领域。通过构建包含 11 个 FV 数据集的基准数据集集合，我们对这些 FV 数据集之间的泛化进行了实证分析，发现现有模型的泛化能力较差。我们的分析揭示了几个影响泛化的因素，包括数据集大小、证据长度和索赔类型。最后，我们展示了两个改进泛化能力的方法：1）通过预训练在特定领域中引入领域知识，2）通过索赔生成自动生成训练数据。

    Sep, 2023

  • QA-NatVer: 自然逻辑为基础的事实验证的问答

    使用问题回答预测自然逻辑运算符，不依赖标注数据、具有确定性推理系统的方法，在少样本设置下，在 FEVER 上的准确度比最佳基线提高了 4.3 个百分点，并且在丹麦验证数据集上超过了所有其他方法，展示了系统的鲁棒性和可移植性，通过人工评估得出结论：相较于之前的基于自然逻辑的系统，我们的方法产生了更可信的证据，并且使用更少错误的自然逻辑运算符。

    Oct, 2023

  • FactGenius：结合零 - shot 提示和模糊关系挖掘提高知识图谱事实验证

    FactGenius 是一种结合零 - shot 大语言模型和模糊文本匹配的创新方法，通过使用来自维基百科的结构化链接数据集 DBpedia，利用相似性度量来提高大语言模型生成的连接的准确性，经过 FactKG 基准数据集的评估验证其在事实验证方面显著优于现有基准水平的性能，特别是在使用 RoBERTa 作为分类器进行微调时，采用过滤和验证连接的两阶段方法表现出卓越的性能，在各种推理类型中确立了 FactGenius 作为强大事实核查工具的前景。

    Jun, 2024

  • 无监督事实核实的问答

    本文提出了一种基于无监督问答的事实检查方法，通过使用 Bert 对 FEVER 数据集进行 Cloze 任务转换，以预测答案标记，并计算基于正确回答的问题和阈值的标签。该方法在转换后的数据集上在开发集和测试集上分别实现了 80.2％和 80.25％的标签准确率。

    Oct, 2019

  • 检索引导的问答反事实生成

    本研究旨在探索如何创建关于领域知识、语义多样性和可回答性等方面的反事实数据来改善深度学习模型的鲁棒性，其中使用的技术包括数据增强，以及 “Retrieve-Generate-Filter” 模型。实验表明，使用该技术能够有效提高模型对于本地扰动的鲁棒性和在阅读理解和开放领域问答中的性能。

    Oct, 2021

  • AFaCTA: 借助可靠的 LLM 标注者辅助事实性主张检测的注释

    通过生成 AI 控制虚假信息的自动事实检查方法正在变得越来越重要，然而，事实声明检测遭遇了任务定义不一致与手动注释成本高昂的两个主要问题。为了解决这些问题，我们提出了 Automtic Factual Claim deTection Annotator (AFaCTA) 框架，通过大型语言模型的帮助来辅助地标事实声明，并通过三个预定的推理路径自动校准其注释置信度，从而提高了注释的效率和分类器的质量。

    Feb, 2024