介绍了一种神经符号机器，该机器结合了神经'编程器'和符号'计算机'，以直接优化 structured prediction 问题的任务奖励，通过 REINFORCE 算法并结合迭代的最大似然训练流程强化训练，能够在 WebQuestionsSP 数据集上胜过现有技术。

Oct, 2016

本文介绍了一种基于神经网络和非可微存储器的Manager-Programmer-Computer框架，该框架结合了神经网络的深度学习和Lisp解释器的机器学习技术，实现了从弱监督到大规模知识库的语义解析，为前沿的符号推理任务提供了有利条件。

Dec, 2016

本文通过对两种循环神经网络的实验研究，证明了正则正负推理算法是深度神经网络能否表示和学习时间序列中的长期依赖的可靠工具。此外，本文发现在同种实验中简单循环神经网络在最难的实验中表现出色，长短时记忆网络的表现总体上比简单循环神经网络差。

May, 2017

本文研究了作为识别加权语言的形式模型的简单循环神经网络（RNN）的各种问题的计算复杂性，其中我们专注于单层、ReLU-激活、有理权重的 RNN，其使用广泛应用于自然语言处理应用程序。本文表明，这种 RNN 的大多数问题都是不可判定的，包括一致性、等价性、最小化和确定最高加权字符串。但对于一致性 RNN，最后一个问题变成可判定的，但其解决方案的长度可能超过所有可计算的界限。如果该字符串长度也被限制在多项式长度，那么该问题就变成了 NP-完全的并且是 APX-难的，因此本文表明了在这些 RNN 的实际应用程序中，逼近算法是必要的。

Nov, 2017

本研究对长短期记忆网络的归纳学习能力进行了实证评估，发现在不同的训练设置下模型性能存在显著差异，并强调在提出神经网络模型的学习能力时需要进行仔细的分析和评估。

Nov, 2018

通过训练循环神经网络（RNN）来学习识别正则形式语言时使用的内部表示，我们研究了一个简单的解码函数，其将该 RNN 的状态映射到该语言的最小确定性有限自动机（MDFA）的状态，进而探讨了RNN内部表示与有限状态自动机之间的强结构关系，解释了RNN识别正式语法结构的能力。

Feb, 2019

本文研究一类可以用于模型英语句子的形式语言，证明神经语言模型可以在此背景下零误差地解决下一个单词预测任务，强调了嵌入层和完全连接部件在神经语言模型中的不同作用。

Jun, 2023

本文研究了RNN语言模型对概率分布的表示能力，发现简单的RNN等效于概率有限状态自动机，能够表示有限状态模型可表达的概率分布的严格子集，同时研究了用RNN表示确定性有限状态语言模型的空间复杂度。这些结果对于了解RNN语言模型的能力和限制具有重要意义。

Oct, 2023

神经网络在形式语言学习任务中表现出了较好的逼近能力，然而，理论上证明了某些结构可以达到完美的广义，但实际上常用的目标函数（如L1、L2正则化、early-stopping和dropout）并不能得到理论上正确的解，而采用最小描述长度目标函数则能达到最优解。

Feb, 2024

通过将递归神经网络语言模型连接到概率有限状态自动机，我们重新审视了递归神经网络语言模型的表征能力，并证明具有线性边界精度的递归神经网络语言模型可以表示任意的正则语言模型。

May, 2024