本篇论文对卷积架构在建模时序序列中的逼近性质进行了理论分析，证明了逼近速率估计和逆逼近定理，并通过引入改进的复杂度测度来提高速率估计。逆逼近定理是新的，两者共同提供了卷积架构能够高效捕捉的时序关系类型的综合特征。

May, 2023

本文探讨了 Transformer 在逼近序列关系上的能力和结构属性，通过证明其 hypothesis 空间的普适逼近定理，得出了一种新的正则化概念，并对其逼近率进行了显式估计，进而揭示了其与传统序列建模方法之间的结构偏差。

May, 2023

该研究论文主要讨论非线性动力系统学习的基本限制，以及循环神经网络在满足 Lipschitz 属性且以最佳度量 - 熵方式快速遗忘过去输入方面的应用，通过计算相关指标，证明了 RNN 可以实现指数衰减和多项式衰减 Lipschitz 的消退记忆系统。

Jul, 2024

本文研究了使用不同非线性激活函数的循环神经网络（RNNs）的理论效率，表明它们也具有普适性和深度效率的特性，并通过计算实验证实了这一理论结果。

Jan, 2019

循环神经网络（RNN）被认为是在相对温和且普遍的条件下对动态系统进行普适逼近的工具，但通常在标准 RNN 训练中面临梯度消失和梯度爆炸问题。为解决这些问题，引入了一种特殊的 RNN，即储层计算（RC），其循环权重是随机化并且未经过训练，此方法在自然语言处理和无线通信等领域表现出卓越的实证性能，特别适用于训练样本极为有限的情况。本研究证明了 RNN 可以普遍逼近线性时不变（LTI）系统并提供了 RC 在泛化 LTI 系统中的解释。我们通过清晰的信号处理解释和理解，利用 RC 对一个通用的 LTI 系统进行了模拟。在这个设置下，我们分析了生成 RC 的未经训练的循环权重的最优概率分布函数，并进行了大量的数值验证。我们的工作提供了基于信号处理的 RC 模型可解释性，并为设置而非训练 RC 的未经训练循环权重提供了理论解释。这是朝着可解释机器学习（XML）的重要步骤，尤其适用于训练样本有限的应用。

Aug, 2023

研究说明传统的循环神经网络（RNNs）在需要长期记忆的任务上表现不佳的原因是因为其随机初始化后的转移矩阵方差造成了梯度消失和梯度爆炸的问题，而使用线性 RNNs 代替时会出现更短的记忆偏差，这一理论经过人工数据和真实数据的验证。

Jan, 2021

本文通过深度神经网络的 Kolmogorov 最优化来发展其基本极限，并阐述了深度网络对于不同函数类的 Kolmogorov 最优逼近性，其提供了指数级的逼近精度，并且在逼近足够光滑的函数时，相较于有限宽深网络，有限宽深层网络需要更小的连通性。

Jan, 2019

探讨使用非正常的重复神经网络（RNNs）以解决梯度 “消失 / 爆炸” 的问题并提高 “信噪比”。研究显示，具有非正常的重复连接矩阵的非正常 RNN 可以在序列处理任务中胜过其正交对应物。

May, 2019

本文研究基于随机初始化的循环神经网络（RNN）的训练和泛化，提出了两个改进：1）无需归一化条件就能学习某些显著概念类的函数；2）能够学习输入序列的 N 元函数形式 f（β^T [X_{l_1},...,X_{l_N}]），该函数类别不属于可加分概念类，当其中某个 N 或者 l_0 较小时，f 能以接近于多项式级别的迭代次数和样本数进行学习。

Sep, 2021

该论文研究了深度神经网络的近似和表达能力，证明了神经网络在目标应用中比传统的非线性近似方法具有更强的近似能力，其中逼近单变量函数的 ReLU 神经网络是研究的重点，然而，尚缺乏一种完全定量化神经网络近似能力的理论。

May, 2019