深度神经网络在函数逼近中理论与实践之间的差距
从有限的点值样本学习多变量平滑目标函数的近似是科学计算和计算科学工程中的一个重要任务。本文调查了近年来在此方面取得的重大进展，描述了来自参数模型和计算不确定性量化的当代动机，无穷维巴拿赫空值全纯函数类，这些类的有限数据可学习性的基本限制，以及从有限数据高效学习此类函数的稀疏多项式和深度神经网络方法。针对深度学习的实际性能与深度神经网络的近似理论之间的差距，我们发展了实际存在理论的主题，宣称存在维度无关的 DNN 结构和训练策略，以证明在训练数据量方面具有可证明近似最优的泛化误差。
Apr, 2024
本文阐述了深度神经网络在一定情况下为何比其他模型表现更好，并通过考虑一定类别的非光滑函数，推导了使用 ReLU 激活的 DNN 的估计器的泛化误差，同时说明了 DNN 的收敛速率几乎是最优的，而某些流行的模型则未达到最优速率，这为选择合适的 DNN 层数和边提供了指导。
Feb, 2018
本文通过深度神经网络的 Kolmogorov 最优化来发展其基本极限，并阐述了深度网络对于不同函数类的 Kolmogorov 最优逼近性，其提供了指数级的逼近精度，并且在逼近足够光滑的函数时，相较于有限宽深网络，有限宽深层网络需要更小的连通性。
Jan, 2019
该论文研究了基于点采样的（确定性或随机）算法的计算复杂度，用于逼近或积分可以用神经网络很好地逼近的函数，这些算法（最突出的是随机梯度下降及其变种）在深度学习领域被广泛应用。我们证明了在一个新颖的神经网络逼近空间类上实现理论上可证明的神经网络逼近速率的问题是困难的，从而验证了深度学习中理论和实践之间存在的差距。同时，我们还表明了具有可比收敛阶的逼近速率在理论上（至少可以）实现。
Apr, 2021
该研究在理论上研究了深度神经网络在不变函数中的逼近和复杂度特性，证明了不变函数可以被各种类型的神经网络模型进行渐近逼近，并且提供应用于高分辨率信号的参数估计和预测的技术。
Oct, 2022
该篇论文调查了神经网络的近似性质，特别是使用 ReLU 激活函数的非线性流形，并比较了这种近似方法与传统数值分析中使用的近似方法之间的差异，着重分析了数值稳定性问题，发现在一定程度上提高了近似能力，但以数值稳定性为代价。
Dec, 2020
本文提出了深度神经网络的可连接性和内存需求的基本下限，同时证明了其实现方式适用于广泛的函数类。此外，研究表明，广义仿射系统内的全局极优逼近问题可以通过神经网络得到最优解，并通过数值实验验证了随机梯度下降算法能够学习出近乎最优的函数逼近。
May, 2017
本文回顾了最近关于层级神经网络结构的研究成果，探讨了深度卷积神经网络优于浅层神经网络在函数近似问题中的表现条件。本文提出了一个新的对于相对维度的定义，该定义可以被深层网络而非浅层网络使用以显著降低近似和学习所需的复杂度。同时，本文还宣布了关于当前神经网络中使用的非平滑激活函数 - ReLU 函数以及高斯网络的新结果。
Aug, 2016
深度学习在不同领域展现了显著的成果，但为了理解其成功，我们需要研究其理论基础。本文探讨了一个不同的角度：深度神经网络如何适应不同地点、尺度和非均匀数据分布的函数的不同规则性。我们使用深层 ReLU 网络发展了非参数逼近和估计理论，并在多个函数类上应用了我们的结果，推导出相应的逼近误差和泛化误差。通过数值实验验证了我们结果的有效性。
Jun, 2024