递归和深度的惊人相似性
本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM和BRNN等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。
May, 2015
本文通过处理嵌套算数表达式的人工任务来研究神经网络如何学习和处理具有分层组合语义的语言，并发现递归神经网络和门控循环单元网络也可以在此任务上表现得十分出色。同时，我们提出诊断分类器的方法，可以有效地帮助我们了解神经网络的内部动态，这种方法可扩展至真实数据的更复杂和更深层的循环神经网络，有望推动当前最先进的自然语言处理模型的内部机理的更深入理解。
Nov, 2017
本文讨论了深度神经网络在视觉模式识别方面的强大能力，但在推理任务中仍然表现不足，引入了使用循环神经网络解决问题的算法，并通过前缀和计算，迷宫和棋类游戏等问题进行了实验研究。
Jun, 2021
本研究提出了一种记忆回溯网络算法，采用保留问题实例的显式副本以及渐进式训练方法，解决了循环系统复杂问题迭代次数过多导致退化行为的问题，从而使循环系统能够解决极难的算法推理问题。
Feb, 2022
针对图状数据的学习问题，该研究提出了一种基于递归架构的图神经网络算法，其关键在于使用跳过连接、状态规则化和边缘卷积等三种技术以实现对小型图问题的端到端学习及大规模图问题的推广。实验证明该算法具有较高的推广能力。
Dec, 2022
通過使用自適應遞歸神經網絡，我們研究了可根據輸入要求動態分配計算資源的遞歸處理，在視覺推理問題中實現了對更困難程度的一般化，而無需訓練。
Nov, 2023
机器学习方法在模式识别方面表现出色，然而在可伸缩的算法推理任务方面仍存在困难。近期的深度思考方法在学习算法的外推方面表现出希望，即在较小的环境中学习并在较大的环境中执行学习到的算法。然而，这些方法局限于对称任务，其中输入和输出维度相同。为了弥补这一差距，我们提出了一种名为NeuralThink的新循环架构，能够一致地对称和不对称任务进行外推，其中输入和输出的维度不同。我们通过引入一种新颖的不对称任务基准来做出贡献。我们展示了NeuralThink在对称和不对称任务的稳定外推方面始终优于先前最先进的深度思考架构，尤其是对于从较小的训练样本中稳定地外推到较大观测样本。
Feb, 2024
对基于循环模型的顺序数据处理的最新方法进行了深入总结，并提供了关于体系结构和算法解决方案的完整分类，引导研究者在这一吸引人的研究领域进行进一步研究。
Jun, 2024
本研究探讨了递归神经网络（RNNs）和隐式神经网络（INNs）在逻辑外推中的能力，特别是在迷宫求解任务中，发现这些网络在大小方面能够泛化，但在其他困难维度上有所欠缺。此外，研究表明，训练收敛于固定点的模型在外推时表现良好，而未针对固定点训练的模型则可能展现出更复杂的极限行为。这强调了对外推动态的深入分析对于设计更高效且可解释的逻辑外推器的重要性。
Oct, 2024