在神经切向（NT）区域的背景下，研究了过参数化现象和它们的推广误差特征，揭示了经验 NT 内核的特征并且证明了测试误差可以被无穷宽内核的核岭回归误差很好地近似。

Jul, 2020

介绍一种新的途径，通过深度神经网络的正确性估计和收敛程度来给出在没有神经网络结构假设的情况下的误差估计。

Jun, 2023

通过采用特定实例的观点，本研究论文调查了神经网络的插值方法，引入了一个简单的随机算法，通过固定的有限数据集，高概率地构建了一个可以插值的三层神经网络，其所需参数数量与两个类别及其相互排列的几何属性有关，从而获得了与样本数无关的保证，并通过大量数值实验将洞察力与理论结果相联系。

Sep, 2023

我们通过控制理论研究将深层残差神经网络作为连续动力系统的表达能力。具体而言，我们考虑从监督学习中产生的两个特性，即通用插值 - 能够匹配任意输入和目标训练样本，以及紧密相关的通用逼近 - 能够通过流映射逼近输入 - 目标函数关系。在控制结构变换族具有仿射不变性的假设下，我们给出了通用插值的表征，证明了非线性网络结构基本上都具备这一特性。此外，我们阐明了通用插值和通用逼近在一般控制系统背景下的关系，证明了这两个特性不能从彼此推导出来。同时，我们确定了控制结构和目标函数的条件，确保了这两个概念的等价性。

Sep, 2023

该篇论文调查了神经网络的近似性质，特别是使用 ReLU 激活函数的非线性流形，并比较了这种近似方法与传统数值分析中使用的近似方法之间的差异，着重分析了数值稳定性问题，发现在一定程度上提高了近似能力，但以数值稳定性为代价。

Dec, 2020

对于具有指定参数定义的深度 ReLU 神经网络（NN），本文讨论了其在 Sobolev 范数中的表达速率和稳定性，针对有限分区上的连续的分段多项式函数。我们通过 Chebyshev 多项式展开系数独特构建了 ReLU NN 的代理，这些系数可以通过在 Clenshaw-Curtis 点上函数的值使用逆快速傅里叶变换轻松计算得到。与基于 ReLU NN 模拟多项式的构造方法相比，本文获得了更优的表达速率和稳定性界限。所有模拟界限均明确以区间的分割、目标模拟精度和每个分割元素的多项式次数来表示。本文还针对在数值分析中常见的各种函数和范数提供了 ReLU NN 模拟误差估计，特别是对于具有点奇异性的解析函数展示了指数级的 ReLU 模拟速率界限，并发展了 Chebfun 逼近和构造性 ReLU NN 模拟之间的接口。

Oct, 2023

本研究探讨了现代机器学习模型中广泛存在的过度拟合现象及理论预测，表明超学习风险会在满足一定条件的情况下逐渐减小，并且在两层神经网络中使用 ReLU 激活函数的情况下具有近最小化学习率的能力。同时，还发现当网络参数数量超过 O (n^2) 时，超学习风险开始增加，这与最近的实证结果相符。

Jun, 2021

通过使用多项式逼近替换神经网络中的非多项式函数，并结合高精确逼近，本论文提出的多项式逼近神经网络（PANN）在实现隐私保护模型推理时与底层骨干模型具有类似的推理准确性。此外，通过对 PANN 的独立性进行调查，论文提出了提高 PANN 推理准确度的解决方案，并通过实验证明了解决方案的有效性。

Feb, 2024

本研究通过研究最近邻算法的类等权重方案，量化了数据内插法的好处，并证明了数据内插法可以在最佳 kNN 算法的基础上具有更好的预测精度和统计稳定性，在解释二次下降现象方面提供了理论依据。

Sep, 2019

从有限的点值样本学习多变量平滑目标函数的近似是科学计算和计算科学工程中的一个重要任务。本文调查了近年来在此方面取得的重大进展，描述了来自参数模型和计算不确定性量化的当代动机，无穷维巴拿赫空值全纯函数类，这些类的有限数据可学习性的基本限制，以及从有限数据高效学习此类函数的稀疏多项式和深度神经网络方法。针对深度学习的实际性能与深度神经网络的近似理论之间的差距，我们发展了实际存在理论的主题，宣称存在维度无关的 DNN 结构和训练策略，以证明在训练数据量方面具有可证明近似最优的泛化误差。

Apr, 2024