Jul, 2022

自然语言的多步演绎推理：基于未知分布泛化的实证研究

PDF
TL;DR本文提出了一种基于神经内存网络的迭代神经推理网络，使用门控机制进行推理，旨在解决多步推理中不平衡推理深度分布的问题，并将其应用于三个数据集上，实验结果表明该模型可以实现比 DeepLogic 和其他 RNN 基准模型更高的测试准确性，并在规则被洗牌时具有更好的超分布泛化能力。
deep learningsymbolic logic reasoningneural inference networkgate attention mechanismpararule-plus
发现论文，激发创造
  • DeepLogic: 基于端到端可微分的逻辑推理

    探索如何使用基于 RNN 的迭代神经网络将符号逻辑定义为字符级逻辑程序，使其在高维向量空间中学习推理，进一步分析学习推理算法如何产生逻辑程序中的原子、文字和规则表示，并针对谓词和常量符号的长度以及多次跳跃推理的步数进行评估。

    May, 2018

  • RNNLogic：学习知识图谱推理逻辑规则

    本文提出了一种基于概率模型的 RNNLogic，并采用 EM 算法和后验推断方法，实现了在知识图谱推理中，学习逻辑规则的高效优化

    Oct, 2020

  • 大规模语言模型对于超领域逻辑推理任务的系统评估

    大型语言模型在逻辑推理任务中的泛化性和鲁棒性评估及改善的研究。

    Oct, 2023

  • 深度逻辑模型的学习与推理集成

    该研究提出了深度逻辑模型理论，并将深度学习与概率逻辑推理相结合，以实现智能代理的发展。实验结果表明，该方法优于其他深度学习和推理方法的限制。

    Jan, 2019

  • 逻辑指导生成的抽象推理

    该研究提出了一种基于命题逻辑的生成模型 (LoGe)，它提供了更高效的生成抽象推理答案的方法，并在 RAVEN 基准测试中超越了黑盒深度神经网络的表现。

    Jul, 2021

  • 深度神经网络本体推理

    本研究采用最新的深度神经网络训练方法，成功开发出了一种模型，可以学会在基本本体论推理的形式下有效地进行逻辑推理，进而可以应用于许多现实世界中的问题，并且在各项实验中表现出高度准确和生物学上的可行性。

    Aug, 2018

  • 神经逻辑推理

    本文介绍了如何利用动态神经网络结构和基本逻辑操作，将深度学习和逻辑推理相结合，提出了名为 LINN 的模型，以推理方式解决推荐系统的问题，并在理论和实践任务中都取得了显著的性能提升。

    Aug, 2020

  • 关系神经机器

    本文介绍了一种新颖的框架 Relational Neural Machines，它可以对学习器的参数和基于一阶逻辑的推理器进行联合训练，下面将介绍其在大规模关系任务中的可行性和良好效果。

    Feb, 2020

  • 具有上下文敏感声明性语法的扩展合成逻辑推理数据集

    利用培训语言模型模仿定理证明器在过程生成的问题上进行逻辑推理仍然是自然语言处理的一个挑战。我们提出了一个更简单、更普遍的声明性框架，通过灵活的上下文敏感规则来绑定多种语言（特别是简化英语和 TPTP 定理证明语言），从而改进了逻辑推理的能力。我们使用语义约束在生成过程中，并对谓词进行仔细的英语表达，提高了逻辑推理能力，而不损害自然英语任务。我们使用相对较小的 DeBERTa-v3 模型在人类编写的逻辑数据集 FOLIO 上实现了最先进的准确性，在有或无外部求解器的情况下，精度超过了 GPT-4 12%。

    Jun, 2024

  • 使用大型语言模型进行可解释的逻辑推理的 Selection-Inference 方法

    本文对大型语言模型在逻辑推理方面进行了全面评估，提出了一种基于选择和推理的框架，可以在不进行微调的情况下改进性能，并伴随着因果自然语言推理过程的答案。

    May, 2022