Aug, 2020

神经符号栈机的组合泛化

PDF
TL;DR通过引入神经符号堆栈机（Neural-Symbolic Stack Machine，NeSS），将神经网络的序列生成能力与符号堆栈机的递归支持相结合，解决了现有深度学习模型存在的组成泛化能力有限的问题。NeSS 在四个领域的测试中均获得了 100% 的组成泛化性能。
deep learningcompositional generalizationneural-symbolic stack machineneural networksymbolic stack machine
发现论文，激发创造
  • 神经符号递归机实现系统化推理

    提出了一种基于 NSR 的神经符号递归机制，通过感知、语法解析和语义推理三个模块的联合学习来实现优越的系统化推广，并通过三个不同领域的基准测试取得了 state-of-the-art 的表现结果。

    Oct, 2022

  • 语义标记实现组合泛化

    在语义解析中，提出了一个新的解码框架，该框架保留了序列到序列模型的表现力和通用性，同时具有类似词典的对齐和解开信息处理，能够提高模型的组合泛化能力。

    Oct, 2020

  • 神经序列模型的组合泛化能力再探讨

    本文针对基础的 seq-to-seq 模型缺乏组合概括能力的问题，重点讨论了使用一次性原语概括来增强这种能力的方法，发现通过修改训练数据的方式，能够使标准的 seq-to-seq 模型实现接近完美的概括能力表现，并且对该现象进行了详细的实证分析，指出了模型的概括性能对于训练数据的特征非常敏感，因而应该在设计这样的基准测试时仔细考虑训练数据的选择。

    Mar, 2022

  • 通过分离语法和语义，在深度序列到序列模型中实现对组合概括的学习

    本文提出一种基于神经机器翻译的新模型 Syntactic Attention，采用分离语法与语义学习的方式训练，拥有捕捉人类语言组成性结构的能力，相较于标准深度学习方法在具有组成性泛化任务的数据集 SCAN 上表现显著优异。

    Apr, 2019

  • 通过学习分析表达式实现组合泛化

    通过基于神经网络和具有符号功能的可变插槽进行变通泛化的记忆增强神经模型，该模型由两个协同神经模块组成，一个是 Composer，另一个是 Solver，通过分层强化学习算法进行端到端训练，实现变通组合能力，其在 well-known benchmark SCAN 上的实验表明，我们的模型具有极强的组合泛化能力，以 100％精度解决了之前工作中面临的所有挑战。

    Jun, 2020

  • 现代人工神经网络中的语言泛化和组合性

    该研究回顾了当前深度学习语言处理网络的主要创新，讨论了一系列研究表明深度网络能够进行微妙的语法依赖性泛化，但也不依赖于系统化的组合规则，这一现象应该引起语言学家和认知科学家的兴趣。

    Mar, 2019

  • 无系统性泛化：关于序列到序列递归网络的组成技能

    该论文介绍了 SCAN 领域，并使用序列到序列的方法对各种复发神经网络进行零样本泛化能力的测试。研究发现，当训练和测试指令之间的差异很小时，RNN 可以成功进行零样本泛化，但是当泛化需要系统的组合能力时，RNN 则失败了。研究结论显示，缺乏系统性可能部分原因导致神经网络需要大量的训练数据。

    Oct, 2017

  • 基本替换的构成性泛化

    本研究探索使用双重表示来编码组合性，一种生成注意力图，另一种将输入转化为数字的映射。我们改进了每种表示中的熵来提高泛化能力。在五项自然语言处理任务中，实验结果显示本方法对于传统方法有显著的改进，协助实现人类级别的组合语言学习。

    Oct, 2019

  • 神经机器翻译中的结构泛化评估

    本研究探讨了机器翻译和语义解析中的复合通用性问题，并发现神经机器翻译模型在句法结构的通用性上存在困难，而语义解析和机器翻译具有不同的性能趋势。

    Jun, 2024

  • 元序列转序列学习实现的组成泛化

    本文介绍了如何通过元 seq2seq 学习策略来改进记忆增强神经网络，在此方法中，模型通过一系列的 seq2seq 问题进行训练，从而获得解决新 seq2seq 问题所需的组合技能，进而解决了组合学习的一些问题。

    Jun, 2019