EMNLPOct, 2023

QA-NatVer: 自然逻辑为基础的事实验证的问答

PDF
TL;DR使用问题回答预测自然逻辑运算符，不依赖标注数据、具有确定性推理系统的方法，在少样本设置下，在 FEVER 上的准确度比最佳基线提高了 4.3 个百分点，并且在丹麦验证数据集上超过了所有其他方法，展示了系统的鲁棒性和可移植性，通过人工评估得出结论：相较于之前的基于自然逻辑的系统，我们的方法产生了更可信的证据，并且使用更少错误的自然逻辑运算符。
fact verification systemsfaithfulnessnatural logicquestion answeringinstruction-tuned language models
发现论文，激发创造
  • ProoFVer: 用于事实验证的自然逻辑定理证明系统

    该论文提出 ProoFVer，使用 seq2seq 模型生成自然逻辑推理作为证明，以此决定索赔真实性，它拥有最高的标签准确性和第二优秀的 FEVER 排行榜得分，证明了它的鲁棒性。

    Aug, 2021

  • 无监督事实核实的问答

    本文提出了一种基于无监督问答的事实检查方法，通过使用 Bert 对 FEVER 数据集进行 Cloze 任务转换，以预测答案标记，并计算基于正确回答的问题和阈值的标签。该方法在转换后的数据集上在开发集和测试集上分别实现了 80.2％和 80.25％的标签准确率。

    Oct, 2019

  • NLProlog: 自然语言问答中基于弱一致性的推理

    本文提出一种将神经网络与逻辑编程相结合的方法，用于解决自然语言处理的多跳推理问题，通过底层表示层面上的结合，使得具有逻辑规则的解释型结果可以应用于自然语言处理领域，同时在两个不同的问题回答任务上达到了竞争水平。

    Jun, 2019

  • 逻辑引导的数据增强和正则化技术，用于一致性问答

    本文通过整合逻辑规则和神经模型，使用基于一致性的正则化来提高问答任务中对比问题的响应的准确性和一致性，该方法在各种问题回答（QA）任务中获得大幅提高。特别是，在数据集中，我们的方法使 RoBERTa 模型的性能提高了 1-5％，，并在 WIQA 和 QuaRel 上将现有技术水平提高了约 5-8％，在 HotpotQA 上减少一致性违规 58％。同时，我们进一步证明了我们的方法可以从有限的数据中有效地学习。

    Apr, 2020

  • 自然语言推理模型能否验证问答系统的预测？

    本文探讨如何利用自然语言推理来验证问答系统提供的答案是否正确，并通过使用大型预训练模型和最新的数据集来构建 QA 实例的前提 - 假设配对，进而将 QA 和 NLI 数据集结合以训练 NLI 模型，以此提高 QA 模型的准确性和置信度。

    Apr, 2021

  • 通过问答实现的基于 5W 方面的事实验证

    本文提出了一个基于 5W 问答的可解释性事实验证框架，使用语义角色标记系统定位 5W 并生成 QA 对，我们获得了一个半自动生成的 FACTIFY-5WQA 数据集，并提出了一个基线 QA 系统自动定位从证据文件中的答案。最后，我们提出了一个强大的事实验证系统，可以对改写的声明进行自动验证。

    May, 2023

  • 利用矛盾来改进问答系统

    使用自然语言推理技术和矛盾验证策略来提高问题回答系统的准确性和可靠性在生物医学领域具有重要意义。研究表明使用矛盾验证模型可以在问答选择任务方面取得良好的表现，并且对于解释模型智能性和提高系统可靠性具有潜在意义。

    Sep, 2022

  • 基于语义层面图的事实核查推理

    本文提出了一种适合推理证据语义结构的方法，并结合预训练模型和图卷积网络、图注意力网络来提高事实核查的准确性，实验证明丰富的结构信息对事实核查有所帮助，并且所提出的模型在官方评测中均获得了最佳表现。

    Sep, 2019

  • 从信息查询问题进行事实验证

    本文介绍了一个大规模的事实验证数据集 FAVIQ，并指出目前最先进的模型并不能完全解决该任务，而基于该数据的训练有助于事实核查，能在专业事实核查方面胜过目前广泛使用的数据集 FEVER 或领域内数据，为自然语言理解提供了一个具有挑战性的基准。

    Jul, 2021

  • 通过声明生成进行零射击事实验证

    使用 Wikipedia 自动产生问题 - 答案对，生成不同类型的声明的 QACG 框架可以训练一个强健的事实验证模型，实验结果表明，在零样本情况下，QACG 能够将 RoBERTa 模型的 F1 从 50％提高到 77％，并且等效于 2000 多个手动筛选的例子。

    May, 2021