本文通过深度神经网络的 Kolmogorov 最优化来发展其基本极限，并阐述了深度网络对于不同函数类的 Kolmogorov 最优逼近性，其提供了指数级的逼近精度，并且在逼近足够光滑的函数时，相较于有限宽深网络，有限宽深层网络需要更小的连通性。

Jan, 2019

本研究破解了学习理论中的一道难题，证明了深度卷积神经网络（CNN）是通用的，可以通过增加深度来达到任意精度的连续函数逼近，并且在处理大维度数据方面非常高效。同时我们的研究证明了卷积在深度 CNN 中的重要作用。

May, 2018

通过计算框架来探讨深度神经网络在数值分析领域的稳定性、精确性、计算效率和样本复杂性，研究了不同维度中的测试函数和与压缩感知的比较，结果表明 DL 在实际中的性能表现仍需要进一步设计架构和训练策略。但此实践证明了深度神经网络在科学计算中具有潜在的更好性能。

Jan, 2020

本文回顾了最近关于层级神经网络结构的研究成果，探讨了深度卷积神经网络优于浅层神经网络在函数近似问题中的表现条件。本文提出了一个新的对于相对维度的定义，该定义可以被深层网络而非浅层网络使用以显著降低近似和学习所需的复杂度。同时，本文还宣布了关于当前神经网络中使用的非平滑激活函数 - ReLU 函数以及高斯网络的新结果。

Aug, 2016

本文研究了有限群 $G$ 的 $G$- 不变 / 等变函数与深度神经网络之间的关系，特别是对于给定的 $G$- 不变 / 等变函数，我们通过深度神经网络构建其通用逼近器，其中每层都具有 $G$- 作用，每个仿射变换都是 $G$- 等变 / 不变。由于表示论，我们可以证明这种逼近器具有比通常模型少得多的自由参数。

Mar, 2019

本文提出了深度神经网络的可连接性和内存需求的基本下限，同时证明了其实现方式适用于广泛的函数类。此外，研究表明，广义仿射系统内的全局极优逼近问题可以通过神经网络得到最优解，并通过数值实验验证了随机梯度下降算法能够学习出近乎最优的函数逼近。

May, 2017

简述：对深度学习的理论研究逐渐深入，从表示能力到优化、从梯度下降的泛化性质到固有隐藏复杂性的到达方式，已经有了一些解释；通过在分类任务中使用经典的均匀收敛结果，我们证明了在每个层的权重矩阵上施加单位范数约束下最小化替代指数型损失函数的有效性，从而解决了与深度网络泛化性能相关的一些谜团。

Aug, 2019

本研究基于树形结构探讨如何设计深度神经网络用于实现径向函数，以实现在任意高维欧几里得空间内旋转不变性的近乎最优函数逼近。结果显示，深度网络在逼近精度和学习能力方面远优于仅具有一个隐藏层的浅层神经网络，并证明了对于学习径向函数，深度网络可以实现近乎最优的学习速率，而浅层网络却不能。因此，这项研究说明深度在神经网络设计中的必要性，以实现旋转不变的目标函数。

Apr, 2019

深度学习在不同领域展现了显著的成果，但为了理解其成功，我们需要研究其理论基础。本文探讨了一个不同的角度：深度神经网络如何适应不同地点、尺度和非均匀数据分布的函数的不同规则性。我们使用深层 ReLU 网络发展了非参数逼近和估计理论，并在多个函数类上应用了我们的结果，推导出相应的逼近误差和泛化误差。通过数值实验验证了我们结果的有效性。

Jun, 2024

讨论了使用深度神经网络逼近函数的方法，构建了一个稀疏连接的深度 - 4 神经网络，并限定其在逼近函数方面的误差。我们的网络计算小波函数，这些小波函数是由修正线性单元（ReLU）计算得到的。

Sep, 2015