该研究针对机器学习和认知神经科学中的中心课题提出了一种形式化的神经活动模型，该模型可以通过神经元集合的创建和操作实现某些简单的认知操作，并具有较强的泛化、鲁棒性和快速性，还可以捕捉时间和空间序列，实现通用计算。

Jun, 2023

本文讨论了标准深度学习方法的局限性，并展示了如何通过以结构化方式增加模型的复杂性来克服这些限制，具体地，研究了仅适用于具有计数和记忆序列能力模型的算法生成序列的最简单序列预测问题，证明了可以使用与可训练内存相关的循环网络从序列数据中学习一些基本算法。

Mar, 2015

本文研究深度神经网络在 “Look and Say” 题目上的表现并发现尽管在大规模数据（200 万数据）训练时准确度很高，但它们并没有展现出任何关于问题更深层次理解的迹象，这也从认知科学角度说明我们需要更好的抽象数学模型。

Sep, 2021

证明有限精度下具有 ReLU 激活函数的 RNN 和 GRU 等神经网络具有等价于确定性有限自动机 (DFA) 的计算能力，如果允许任意精度，则具有至少与下推自动机 (PDA) 相同的计算能力，如果同时允许无限精度，无限边权和非线性输出激活函数，则 GRU 具有至少与下推自动机相同的计算能力。

Jun, 2019

本文讨论了深度神经网络在视觉模式识别方面的强大能力，但在推理任务中仍然表现不足，引入了使用循环神经网络解决问题的算法，并通过前缀和计算，迷宫和棋类游戏等问题进行了实验研究。

Jun, 2021

本研究试图从理论的角度解释神经网络的计算类型，通过将它们与自动机相关联，并使用定义 “实时网络有界精度接受语言” 的方法来解释网络内存度量，对可被各种循环网络、注意力和卷积网络接受的语言类别进行了表征。研究发现 LSTM 功能类似于计数器机，并将卷积网络与子正则层次结构相关联。这些理论洞察力有助于解释神经计算，以及神经网络与自然语言语法之间的关系。

Jun, 2019

大型语言模型在逻辑和数学推理方面显示出令人瞩目的能力，使它们能够解决复杂的任务。本文提出了一个理论框架来研究自回归的下一个标记预测器。我们证明，即使是简单的模型，如线性的下一个标记预测器在 Chain-of-Thought（CoT）数据上训练，也能有效地近似于图灵机计算的任何函数。我们引入了一个新的复杂度度量方法 —— 长度复杂度，它衡量了实现某个目标函数所需的 CoT 序列中的中间标记数，并分析了长度复杂度与其他复杂度概念之间的相互关系。最后，我们通过实验证明，简单的下一个标记预测器，如线性网络和浅层多层感知器（MLP），在文本生成和算术任务中显示出非平凡的性能。我们的结果表明，语言模型的强大能力很大程度上归功于自回归的下一个标记训练方案，而不一定取决于特定的架构选择。

Sep, 2023

本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

May, 2015

本文提出课程学习策略，用于训练循环神经网络，以尽量减小实际工作场景中训练和推理之间的差异，如在 MSCOCO 图片注释挑战赛中实测有效。

Jun, 2015

本论文旨在通过 extit {序列一致性评估}(SCE) 构建检测任务，研究使用深度学习模型解决此类任务的能力，结果表明，未经训练的深度学习模型仍能相对良好地解决这一类任务，这为构建机器流体智能提供了启示。

May, 2022