ICMLJun, 2020

通过集成神经感知、语法解析和符号推理实现闭环神经符号学习

PDF
TL;DR本文介绍了一种新的用于神经符号计算的学习框架，其中引入了语法模型和反向搜索算法来优化符号推理模块中的误差传播，本文将所提出的学习框架解释为最大似然估计，算法则解释为 Metropolis-Hastings 采样器，实验结果表明，本文方法相对于强化学习方法在性能、收敛速度和数据效率等方面均有显著提升。
neural-symbolic computationgrammar modelback-search algorithmmaximum likelihood estimationmarkov chain monte carlo sampling
发现论文，激发创造
  • 基于神经符号方法的弱监督推理

    深度学习在自然语言处理 (NLP) 任务中取得了显著进展，本研究提出了一种神经符号学习方法，将符号主义和连接主义两种人工智能学派相结合，通过强化学习或其弱化版本在下游任务中实现具有符号潜在结构的神经系统的弱监督推理。该框架已成功应用于表格查询推理、句法结构推理、信息抽取推理和规则推理等各种任务。

    Sep, 2023

  • 一种新的统计关系学习下的神经符号系统

    提出了一种名为 GBPGR 的广义双层概率图推理框架，通过使用统计关系学习启发式地集成了深度学习模型和符号推理，以解决当前人工智能领域中深度学习和符号推理相结合的方法在组合方式、泛化性和可解释性方面的局限性，并通过大量实验证明了该方法在转导和归纳任务中实现了高性能和有效的泛化能力。

    Sep, 2023

  • 深层符号学习：从感知中发现符号和规则

    本文提出了一种名为 Deep Symbolic Learning（DSL）的神经符号集成系统，它可以同时学习感知和符号函数，并且能够在可微分的神经网络学习管道中创建内部（可解释的）符号表示，以最好的方式解释数据。

    Aug, 2022

  • 神经符号递归机实现系统化推理

    提出了一种基于 NSR 的神经符号递归机制，通过感知、语法解析和语义推理三个模块的联合学习来实现优越的系统化推广，并通过三个不同领域的基准测试取得了 state-of-the-art 的表现结果。

    Oct, 2022

  • 简单有效的神经符号融合的转移学习

    深度学习与神经符号整合是解决深度学习普适性和推理任务的挑战，通过预训练神经模型并通过迁移学习注入感知部分的权重，可以改善当前神经符号方法中的收敛速度、复杂感知任务的学习难度和局部最小值问题。

    Feb, 2024

  • 神经符号机器：在 Freebase 上进行语义解析器学习的弱监督

    介绍了一种神经符号机器，该机器结合了神经 ' 编程器 ' 和符号 ' 计算机 '，以直接优化 structured prediction 问题的任务奖励，通过 REINFORCE 算法并结合迭代的最大似然训练流程强化训练，能够在 WebQuestionsSP 数据集上胜过现有技术。

    Oct, 2016

  • 神经符号学习系统中的优化

    神经符号 AI 旨在将深度学习与符号 AI 相结合，以减少训练神经网络所需的数据量，提高模型给出答案的可解释性和可解性，并验证经过训练的系统的正确性。我们研究神经符号学习，既有使用符号语言表示的数据，也有背景知识。通过模糊推理、概率推理以及训练神经网络来连接符号和神经组件，以交流这一知识。

    Jan, 2024

  • 利用语法引导符号回归的强化学习方法实现领域知识融合

    本文提出了一种基于强化学习的语法引导符号回归方法，利用上下文无关文法作为强化行动空间来限制表示空间，并且针对物理方程搜索的应用场景，与基于文法和非基于文法的符号回归方法进行比较。实验结果表明，我们的方法在基准测试中具有竞争力，并在误差 - 复杂度权衡方面提供了最佳表现，突出了在实际情况下使用基于文法的方法的优点。

    Feb, 2022

  • pix2rule: 端到端的神经符号规则学习

    本文提出了一种完整的神经符号方法，用于以端到端的方式将图像处理为对象，并在学习关系和逻辑规则方面。主要贡献是以可微分层为基础，从而可以通过剪枝和阈值确定符号关系和规则。我们使用两个数据集进行模型评估：符号规则学习的子图同构任务和学习对象，关系和规则的复合关系的图像分类域。结果表明，该模型超越最先进的符号学习者并优于深度关系神经网络架构。

    Jun, 2021

  • 神经符号概念学习器：从自然监督中解释场景、单词和句子

    提出了一种无需显式监督，通过观察图片和配对问答学习视觉概念、单词和句子语义分析的神经符号概念学习器，其通过神经符号推理模块将符号程序执行于潜在场景表示，辅助学习新词并解析新句子，使用课程学习指导对图像和语言的复合空间进行搜索，并进行了广泛实验来证实其在学习视觉概念、单词表示和语义分析方面的准确性和效率。

    Apr, 2019