本文讨论了标准深度学习方法的局限性，并展示了如何通过以结构化方式增加模型的复杂性来克服这些限制，具体地，研究了仅适用于具有计数和记忆序列能力模型的算法生成序列的最简单序列预测问题，证明了可以使用与可训练内存相关的循环网络从序列数据中学习一些基本算法。

Mar, 2015

本研究提出一种神经网络结构——神经GPU来解决Neural Turing Machine中存在的训练难题，实现了对于尺寸不确定的输入进行算法训练，并能成功地推广到更长的算法实例中。通过参数共享放松、少量的dropout和渐变噪声的技术应用，神经GPU在训练和泛化方面收到了显著的正面效应。

Nov, 2015

本文通过处理嵌套算数表达式的人工任务来研究神经网络如何学习和处理具有分层组合语义的语言，并发现递归神经网络和门控循环单元网络也可以在此任务上表现得十分出色。同时，我们提出诊断分类器的方法，可以有效地帮助我们了解神经网络的内部动态，这种方法可扩展至真实数据的更复杂和更深层的循环神经网络，有望推动当前最先进的自然语言处理模型的内部机理的更深入理解。

Nov, 2017

本文研究了深度神经网络的层次结构特征，发现递归神经网络与前馈网络在提取特征和处理深层次信息方面表现出类似的表现和性能优越，且递归模型能够模拟前馈模型的行为并使用更少的参数来实现图像分类和迷宫问题的求解。

Feb, 2021

本研究提出了一种记忆回溯网络算法，采用保留问题实例的显式副本以及渐进式训练方法，解决了循环系统复杂问题迭代次数过多导致退化行为的问题，从而使循环系统能够解决极难的算法推理问题。

Feb, 2022

针对图状数据的学习问题，该研究提出了一种基于递归架构的图神经网络算法，其关键在于使用跳过连接、状态规则化和边缘卷积等三种技术以实现对小型图问题的端到端学习及大规模图问题的推广。实验证明该算法具有较高的推广能力。

Dec, 2022

本研究提出了一种使用栈来增强图神经网络（GNNs）的方式和一种捕获中间算法轨迹的方法，以改进递归算法的算法对齐，从而提高对较大输入图的泛化性能。

Jul, 2023

通過使用自適應遞歸神經網絡，我們研究了可根據輸入要求動態分配計算資源的遞歸處理，在視覺推理問題中實現了對更困難程度的一般化，而無需訓練。

Nov, 2023

最近在神经算法推理方面的研究表明，图神经网络（GNN）可以学习执行经典算法。然而，这种方法始终使用了循环架构，其中每个GNN的迭代与算法的迭代相匹配。我们猜测并经验证，可以通过直接找到平衡点训练网络来解决算法问题，而不需要将每个GNN迭代与算法的步骤相匹配。

Feb, 2024

本研究探讨了递归神经网络（RNNs）和隐式神经网络（INNs）在逻辑外推中的能力，特别是在迷宫求解任务中，发现这些网络在大小方面能够泛化，但在其他困难维度上有所欠缺。此外，研究表明，训练收敛于固定点的模型在外推时表现良好，而未针对固定点训练的模型则可能展现出更复杂的极限行为。这强调了对外推动态的深入分析对于设计更高效且可解释的逻辑外推器的重要性。

Oct, 2024