Oct, 2022

神经符号递归机实现系统化推理

PDF
TL;DR提出了一种基于 NSR 的神经符号递归机制，通过感知、语法解析和语义推理三个模块的联合学习来实现优越的系统化推广，并通过三个不同领域的基准测试取得了 state-of-the-art 的表现结果。
发现论文，激发创造
  • 神经符号栈机的组合泛化

    通过引入神经符号堆栈机（Neural-Symbolic Stack Machine，NeSS），将神经网络的序列生成能力与符号堆栈机的递归支持相结合，解决了现有深度学习模型存在的组成泛化能力有限的问题。NeSS 在四个领域的测试中均获得了 100% 的组成泛化性能。

    Aug, 2020

  • 可控神经符号回归

    本篇论文提出一种名为 NSRwH 的神经符号回归方法，能够结合用户给定的领域知识，实现精确预测表达式的结构，并在实验中表现出良好的准确性。

    Apr, 2023

  • 一种新的统计关系学习下的神经符号系统

    提出了一种名为 GBPGR 的广义双层概率图推理框架，通过使用统计关系学习启发式地集成了深度学习模型和符号推理，以解决当前人工智能领域中深度学习和符号推理相结合的方法在组合方式、泛化性和可解释性方面的局限性，并通过大量实验证明了该方法在转导和归纳任务中实现了高性能和有效的泛化能力。

    Sep, 2023

  • 神经符号机：使用弱监督在 Freebase 上学习语义解析器（简化版）

    本文介绍了一种基于神经网络和非可微存储器的 Manager-Programmer-Computer 框架，该框架结合了神经网络的深度学习和 Lisp 解释器的机器学习技术，实现了从弱监督到大规模知识库的语义解析，为前沿的符号推理任务提供了有利条件。

    Dec, 2016

  • 神经符号机器：在 Freebase 上进行语义解析器学习的弱监督

    介绍了一种神经符号机器，该机器结合了神经 ' 编程器 ' 和符号 ' 计算机 '，以直接优化 structured prediction 问题的任务奖励，通过 REINFORCE 算法并结合迭代的最大似然训练流程强化训练，能够在 WebQuestionsSP 数据集上胜过现有技术。

    Oct, 2016

  • 学习重新组合和重新采样数据，用于基于组合性泛化

    本文提出了 R＆R，一种学习数据扩充方案，它通过基于原始训练示例的原型生成模型的重组和生成示例的重新采样来实现大类组合泛化，显著提高了普适性，尤其是在对罕见或看不见的子序列需要组合泛化的环境中，如指令跟踪（SCAN）和形态分析（SIGMORPHON 2018）。

    Oct, 2020

  • SyGNS: 基于自然语言语义的系统化泛化测试平台

    通过建立基于自然语义的系统化推导测试平台，本文发现：Transformer 和 GRU 模型能够解析包含量词和否定等逻辑表达的句子，且对形式相似但复杂程度不同的句子表现良好，这表明深度神经网络模型能够捕捉组合意义。

    Jun, 2021

  • 通过集成神经感知、语法解析和符号推理实现闭环神经符号学习

    本文介绍了一种新的用于神经符号计算的学习框架，其中引入了语法模型和反向搜索算法来优化符号推理模块中的误差传播，本文将所提出的学习框架解释为最大似然估计，算法则解释为 Metropolis-Hastings 采样器，实验结果表明，本文方法相对于强化学习方法在性能、收敛速度和数据效率等方面均有显著提升。

    Jun, 2020

  • 简单算术问题系统化泛化的混合系统

    提出了一种混合系统，通过学习适当的替换规则并迭代应用这些规则到输入字符串，能够解决需要在符号序列上进行组合和系统推理的算术问题。

    Jun, 2023

  • 基于场景语境的系统化概括语言理解基准测试

    本文介绍了一个新的基准测试 gSCAN，用于评估位于语言理解中的组成泛化，在语言描述中使用诸如 “在摩天轮旁边向粉色布朗托蜥蜴问候” 等常见词汇，并将其用于语言理解任务。测试发现，在需要系统的组成规则的情况下，强大的多模态基线模型和最先进的组成方法在大多数情况下都会明显地失败。

    Mar, 2020