本文研究了神经网络在程序编写和形式验证方面的行为，重点关注结构递归，并评估了变压器模型在近似这些函数中的能力及其局限性，并通过重构算法正确预测了近似函数的失败案例的 91％。

May, 2023

本研究提出了一种使用栈来增强图神经网络（GNNs）的方式和一种捕获中间算法轨迹的方法，以改进递归算法的算法对齐，从而提高对较大输入图的泛化性能。

Jul, 2023

研究了基于 Transformer 模型从示例中学习结构递归的能力，探讨了该模型在性能和语义理解等方面的局限性。

Jan, 2024

本研究提出了一种新颖的神经程序模型（Neural Programmer），该模型扩展了具有少量基本算术和逻辑运算的不可区分神经网络，此模型可以在多个步骤中调用这些扩展操作，因此产生的组成程序比内置操作更复杂。该模型采用相对较弱的监督信号进行训练，不需要昂贵的编写正确程序的注释，经过训练在很复杂的综合表理解数据集中取得了几乎完美的准确度。

Nov, 2015

本文讨论了深度神经网络在视觉模式识别方面的强大能力，但在推理任务中仍然表现不足，引入了使用循环神经网络解决问题的算法，并通过前缀和计算，迷宫和棋类游戏等问题进行了实验研究。

Jun, 2021

本文通过处理嵌套算数表达式的人工任务来研究神经网络如何学习和处理具有分层组合语义的语言，并发现递归神经网络和门控循环单元网络也可以在此任务上表现得十分出色。同时，我们提出诊断分类器的方法，可以有效地帮助我们了解神经网络的内部动态，这种方法可扩展至真实数据的更复杂和更深层的循环神经网络，有望推动当前最先进的自然语言处理模型的内部机理的更深入理解。

Nov, 2017

本文讨论了标准深度学习方法的局限性，并展示了如何通过以结构化方式增加模型的复杂性来克服这些限制，具体地，研究了仅适用于具有计数和记忆序列能力模型的算法生成序列的最简单序列预测问题，证明了可以使用与可训练内存相关的循环网络从序列数据中学习一些基本算法。

Mar, 2015

该论文介绍了一种基于图神经网络的通用神经算法学习器，能够学习执行多种算法，如排序、搜索、动态规划、路径查找和几何等，同时提出了一系列改进方法，进一步提高了单任务性能和多任务学习的效果。

Sep, 2022

通过研究数值子程序，该论文发现基于 transformer 的序列到序列模型可以学习排序等子程序，但当列表长度超出训练集时，性能迅速下降。作者提出了一种条件掩蔽机制来解决这个问题，并展示了使用二进制表示编码数字可以处理训练过程中未见数据的能力，从而取得更好的推广效果。

Jun, 2020

本研究提出了一种记忆回溯网络算法，采用保留问题实例的显式副本以及渐进式训练方法，解决了循环系统复杂问题迭代次数过多导致退化行为的问题，从而使循环系统能够解决极难的算法推理问题。

Feb, 2022