May, 2024

基于提示的方法的逻辑否定增强和去偏

PDF
TL;DR基于提示的方法在自然语言处理领域越来越受关注，并在许多下游任务中显示出其有效性。然而，鲜有研究探索这些方法在逻辑推理方面的能力。本研究针对提示方法在一阶逻辑推理方面的有效性进行研究，发现其中的瓶颈问题在于逻辑否定。根据我们的分析，逻辑否定往往导致与负回答的虚假相关性，而没有逻辑否定的命题则与正回答相关。为了解决这个问题，我们提出了一种简单而有效的方法，即 Negation Augmenting and Negation Debiasing（NAND），该方法引入了负命题到基于提示的方法中，而无需更新参数。具体而言，这些负命题通过为所有实例提供 “不” 来抵消虚假相关性，使模型不能仅通过表达式中是否包含逻辑否定来做决策。在三个数据集上的实验证明，NAND 不仅解决了逻辑否定校准的问题，还显著增强了基于提示方法在逻辑推理方面的性能，而无需重新训练模型。
prompt-based methodsknowledge extractionlogical reasoninglogical negationnand
发现论文，激发创造
  • 作为间接推理器的大型语言模型：自动推理的逆否和矛盾

    本文提出了一种新的间接推理（IR）方法，利用逆否命题和矛盾的逻辑来解决事实推理和数学证明等 IR 任务，以加强大型语言模型（LLMs）的推理能力。与传统 DR 方法相比，我们的 IR 方法通过对话模板触发 LLMs 进行基于矛盾推论的 IR 过程来提高推理准确性，并且与 IR 或 DR 单独使用相比，IR 和 DR 结合的方法表现出更高的效果。

    Feb, 2024

  • 用于跨语言评估的基于逻辑的语料库

    本文提出了一种新的语法任务集，专注于矛盾检测，并评估了递归模型和 BERT 网络。虽然 BERT 在大多数逻辑形式上具有更好的泛化效果，但在处理计数算子时仍有待改进，同时表明该语法任务可以在不同的语言中实现并实现跨语言传递学习。

    May, 2019

  • 大规模语言模型对于超领域逻辑推理任务的系统评估

    大型语言模型在逻辑推理任务中的泛化性和鲁棒性评估及改善的研究。

    Oct, 2023

  • 逻辑驱动的上下文扩展和数据增强用于文本逻辑推理

    本研究提出了一种理解文本中逻辑符号和表达式以得出答案的方法，并基于此提出了一种扩展文本上下文的框架和一种数据增广算法，可以更好地捕捉逻辑信息，特别是关于逻辑否定和条件关系，结果表明这种方法在 ReClor 数据集上实现了最先进的性能，多模型集成系统是第一个在 ReClor 的 EASY 和 HARD 数据集上超过人类表现的系统。

    May, 2021

  • 无效的逻辑，等效的收益：语言模型提示推理的怪异性

    语言模型可以通过提示在问题上进行推理，从而显著提高性能。研究发现，在逻辑上无效的 CoT 提示方面存在一些性能改进。

    Jul, 2023

  • QA-NatVer: 自然逻辑为基础的事实验证的问答

    使用问题回答预测自然逻辑运算符，不依赖标注数据、具有确定性推理系统的方法，在少样本设置下，在 FEVER 上的准确度比最佳基线提高了 4.3 个百分点，并且在丹麦验证数据集上超过了所有其他方法，展示了系统的鲁棒性和可移植性，通过人工评估得出结论：相较于之前的基于自然逻辑的系统，我们的方法产生了更可信的证据，并且使用更少错误的自然逻辑运算符。

    Oct, 2023

  • 大型语言模型中的假设检验提示改善了演绎推理

    本文介绍了使用不同形式的提示与预训练的大型语言模型相结合，在推理任务中取得了卓越的成果（如思路链提示）。然而，除了在更复杂的推理上进行测试外，这些方法还暴露出无效推理和虚构推理路径等问题。本文开发了一种名为 “假设测试提示” 的方法，在中间推理步骤中添加了结论假设、逆向推理和事实验证。假设测试提示涉及多个假设，并反向验证导致其独特正确答案的结论。在两个具有挑战性的演绎推理数据集 ProofWriter 和 RuleTaker 上的实验证明，假设测试提示不仅显著提高了效果，还生成了一个更合理和标准化的推理过程。

    May, 2024

  • 基于逻辑驱动数据增强的对比学习，用于文本推理

    该论文提出了基于 AMR-LE 方法的数据增广技术，并使用对比学习训练语言模型，可以在多个 NLP 任务中提高性能表现，包括 ReClor，LogiQA，MNLI，MRPC，RTE，QNLI 和 QQP。

    May, 2023

  • 逻辑引导的数据增强和正则化技术，用于一致性问答

    本文通过整合逻辑规则和神经模型，使用基于一致性的正则化来提高问答任务中对比问题的响应的准确性和一致性，该方法在各种问题回答（QA）任务中获得大幅提高。特别是，在数据集中，我们的方法使 RoBERTa 模型的性能提高了 1-5％，，并在 WIQA 和 QuaRel 上将现有技术水平提高了约 5-8％，在 HotpotQA 上减少一致性违规 58％。同时，我们进一步证明了我们的方法可以从有限的数据中有效地学习。

    Apr, 2020

  • 自然语言推断与不完整信息

    提出了一个处理模糊的假设的新系统，使用自然语言生成模型来从一个前提中推出另一个前提并以双向的方式搜索。 使用回路验证程序过滤质量不佳的生成来确保正确性。 该系统在修改后的 EntailmentBank 数据集和名为 “Everyday Norms：Why Not?“的新数据集上表现出可以恢复跨领域和非领域的前提的能力。

    Nov, 2022