Sep, 2022

FOLIO: 一阶逻辑的自然语言推理

PDF
TL;DR本文介绍了 FOLIO 数据集，其为具有 FOL 注释的自然语言推理（NL）数据集，可用于推理 NL 的有效性，包括了 NL-FOL 翻译数据集。文中还通过实验验证了中等型语言模型（BERT、RoBERTa）和大型语言模型（GPT-NeoX、OPT、GPT-3、Codex）在 FOL 推理方面的能力以及 GPT-3 和 Codex 用于 NL-FOL 翻译的效果。
folionatural language reasoningfirst order logicnl-fol translationlarge language models
发现论文，激发创造
  • 利用大型语言模型进行自然语言到一阶逻辑的转换

    LogicLLaMA 是一种基于 LLaMA-7B 模型的、使用 LoRA 进行 NL-FOL 翻译的算法，通过新颖的 SFT+RLHF 框架进行调整，能够将自然语言直接翻译为一阶逻辑规则，并具有对 GPT-3.5 生成的规则进行校正的能力。

    May, 2023

  • NL2FOL：将自然语言翻译为一阶逻辑，用于检测逻辑谬误

    通过将自然语言逐步翻译成一阶逻辑，利用满足性模块理论求解器来可靠地检测逻辑谬误，并将输入分类为谬误或有效陈述，这种方法不需要训练数据或微调，并且在数据集上表现良好。

    Apr, 2024

  • 基于大型语言模型的知识驱动推理解释性索证

    本研究论文介绍了一种名为 FOLK（First-Order-Logic-Guided Knowledge-Grounded Reasoning）的方法，用大型语言模型（LLMs）进行复杂声明的验证和解释生成，同时不需要基于人工标注的证据。该方法通过将声明转化为由谓词组成的一阶逻辑子句，每个谓词对应需验证的一个子声明，并利用一组知识基础的问答对进行一阶逻辑引导的推理，从而做出真实性预测并生成解释以说明其决策过程，使模型高度解释性。实验结果表明，FOLK 在涵盖各种声明验证挑战的三个数据集上优于强基线模型。

    Oct, 2023

  • 来自开放域表格的逻辑自然语言生成

    本研究探讨了一种新型的自然语言生成任务，在半结构化表格中，生成可逻辑推断的自然语言陈述，并提出了新的自动评估指标。探讨使用 LSTM、Transformer、预训练语言模型等方法及其算法的表现，并发现预训练语言模型可以将流畅性和逻辑发挥至最大。

    Apr, 2020

  • 探索将自然语言解析成一阶逻辑的神经模型

    本篇研究使用神经网络模型来实现自然语言文本到一阶逻辑表达式的语义解析，在此基础上提出了一种改进的编码 - 解码模型，能够更加准确地生成一阶逻辑公式，并通过大规模数据集的评估证明了这种方法的有效性和可扩展性。最终将研究代码和数据集公开，为进一步的基于逻辑的 NLP 相关研究提供便利。

    Feb, 2020

  • Logic2Text: 从逻辑形式生成高保真自然语言

    本文旨在从逻辑形式出发，探讨基于结构化数据的自然语言生成，在介绍新数据集的同时，实验了多个生成模型并分析了它们的表现。

    Apr, 2020

  • 当一个逻辑不够用：在 OWL 本体中集成一阶注释

    本文介绍了 Gavel，一种工具，支持异构 FOWL 本体的开发，其扩展了 OWL 本体，使用 FOL 注解，并能够推理出一组组合的公理。

    Oct, 2022

  • 使用逻辑归纳偏置学习语言表示

    本文介绍了一种基于逻辑推理的神经网络架构 FOLNet，它可以有效地学习强大的语言表示，并具有更强的迁移学习能力。实验证明，FOLNet 模型在多个语言理解任务中胜过了现有的强大的基于 Transformer 的方法。

    Feb, 2023

  • 使用生成的事实作为原子的自然语言推理的逻辑推理

    本研究提出了一种模型无关的逻辑框架，以确定每个输入中负责每个模型决策的特定信息并生成可解释的自然语言推理模型，其性能优于当前最先进的神经模型，适用于高度挑战性的 ANLI 数据集。

    May, 2023

  • APOLLO: 适应性预训练逻辑推理语言模型的简单方法

    本文提出了一个适应性预训练语言模型 APOLLO，使用特定的逻辑推理关键词来选择维基百科的子集进行预训练，使用自我监督损失函数进行训练，无需特定的任务格式，与基线模型相比，在逻辑推理数据集上表现相当或更好。

    Dec, 2022