Sep, 2023

混合语言符号推理的自然语言嵌入程序

PDF
TL;DR提出自然语言嵌入程序作为一种统一的框架，用于解决需要符号和数值推理的任务，其中该方法促使语言模型生成包含自然语言表示结构化知识的数据结构上定义函数的完整 Python 程序，然后 Python 解释器执行生成的代码并打印输出。尽管使用了通用的提示，但我们发现此方法可以改进各种不同任务，包括数学和符号推理、文本分类、问题回答和指令跟随，并且生成的程序通常是可解释的，能够进行事后验证中间推理步骤。
发现论文，激发创造
  • 程序辅助语言模型

    本论文介绍了一种新颖的方法，使用大型语言模型来读取自然语言问题并生成程序作为中间推理步骤，但将求解步骤委托给运行时，如 Python 解释器，在 13 个数学、符号和算法推理任务中展示了神经大型语言模型和符号解释器之间的协同作用。

    Nov, 2022

  • 一种神经符号化方法用于自然语言理解

    通过启用预训练语言模型的深度神经网络，在系统 1 和系统 2 的理论支持下，实现了基于神经和符号处理的类比推理和逻辑推理，并在数值推理的两种自然语言理解任务中显著优于现有的最先进方法。

    Mar, 2022

  • 利用大型语言模型生成答案集程序

    本文提出了一种神经符号方法，将大型语言模型和答案集编程的优势相结合，以将逻辑谜题的自然语言描述转化为答案集程序。

    Jul, 2023

  • 大型语言模型是可解释学习者

    大型语言模型与符号程序的结合可以在构建人类中心预测模型时解决表达力和解释性之间的平衡问题。

    Jun, 2024

  • 基于神经符号方法的弱监督推理

    深度学习在自然语言处理 (NLP) 任务中取得了显著进展，本研究提出了一种神经符号学习方法，将符号主义和连接主义两种人工智能学派相结合，通过强化学习或其弱化版本在下游任务中实现具有符号潜在结构的神经系统的弱监督推理。该框架已成功应用于表格查询推理、句法结构推理、信息抽取推理和规则推理等各种任务。

    Sep, 2023

  • 神经符号人工智能在自然语言处理方面是否兑现其承诺？一项结构化综述

    通过研究关于 Neuro-Symbolic 人工智能（NeSy）在自然语言处理中的应用，发现将逻辑编译到神经网络中的系统能够实现最佳的 NeSy 目标，呼吁更加系统化的方法和适当的基准测试用于理解该领域的发展。

    Feb, 2022

  • 符号表示对于背景下少样本推理学习的影响

    本研究的主要目标是使用预先训练的语言模型来进行推理，特别是在推理时使用解释以增强上下文学习。作者将神经符号方法重新引入到这个任务中，并将语言模型作为逻辑程序员，以在知识库中迭代推理。实验结果表明，相对于上下文学习策略， LMLP 在演绎和长度归纳基准测试中表现得更加优秀。

    Dec, 2022

  • 具体情境下的自然语言解释

    自然语言解释、预训练语言模型、情境感知的自然语言解释、提示工程方法、自动化评估分数是本论文研究的关键词和主题。

    Aug, 2023

  • 学习神经符号程序用于语言引导机器人操控

    通过一种模块化结构，使用符号推理构造深度物体中心推理模型，从而训练出一种可以执行机器人操作的模型，此模型具有优秀的通用性和端到端的可训练性。

    Nov, 2022

  • NLProlog: 自然语言问答中基于弱一致性的推理

    本文提出一种将神经网络与逻辑编程相结合的方法，用于解决自然语言处理的多跳推理问题，通过底层表示层面上的结合，使得具有逻辑规则的解释型结果可以应用于自然语言处理领域，同时在两个不同的问题回答任务上达到了竞争水平。

    Jun, 2019