机器学习算法的泛化误差新方法：估计与收敛

Jun, 2023

机器学习算法的泛化误差新方法：估计与收敛

A new approach to generalisation error of machine learning algorithms: Estimates and convergence

Michail Loulakis, Charalambos G. Makridakis

TL;DR介绍一种新的途径，通过深度神经网络的正确性估计和收敛程度来给出在没有神经网络结构假设的情况下的误差估计。

Abstract

In this work we consider a model problem of deep neural learning, namely the learning of a given function when it is assumed that we have access to its point values on a finite set of points. The deep neural network interpolant is the the resulting approximation of f, which is obtained

deep neural learning machine learning estimation convergence neural network spaces

发现论文，激发创造

关于基于单层人工神经网络的插值准确性研究

利用极限学习机来训练具有一层隐藏层的前馈神经网络（也称为浅层或两层网络），研究插值问题中的准确性以及使用 Chebychev 节点时的全局多项式逼近与 ANN 插值函数的异常行为。

Aug, 2023

毫无畏惧：插值视角下深度学习的卓越数学现象

本文阐述了深度学习和机器学习等领域中，数学理论在实践中的不足和理论难题。作者尝试从揭示深度学习基础的角度探究插值和超参数化的作用，以期近一步走向深度学习和机器学习的普适理论。

May, 2021

神经网络在近似和优化方面的限制

我们研究了神经网络作为替代模型来近似和最小化优化问题中的目标函数的使用，通过确定适合目前非线性优化测试问题目标函数近似的最佳激活函数来提供证明，我们分析通过插值 / 回归模型和神经网络获得的函数值、梯度和 Hessian 矩阵的近似精度，结果显示神经网络在零阶和一阶近似方面表现出较高竞争力（对应较高的训练成本），但在二阶近似方面表现较差。然而，通过将神经网络激活函数与二次插值 / 回归的自然基组合，可以减少模型参数数量。最后，我们提供了证据表明，包括神经网络在内的任何考虑的替代模型用于逼近优化算法的梯度时，都无法明显改善目前最先进的无导数优化算法的性能。

Nov, 2023

神经网络中的插值相变：懒惰训练下的记忆和泛化

在神经切向（NT）区域的背景下，研究了过参数化现象和它们的推广误差特征，揭示了经验 NT 内核的特征并且证明了测试误差可以被无穷宽内核的核岭回归误差很好地近似。

Jul, 2020

深度网络中的泛化（IIIb 理论）

该论文研究了深度神经网络中过拟合的问题，证明了使用特定的损失函数时神经网络的收敛性及性能，提出了一种实用的判断不同零最小化点泛化性能的方法。

Jun, 2018

深度神经网络近似理论

本文通过深度神经网络的 Kolmogorov 最优化来发展其基本极限，并阐述了深度网络对于不同函数类的 Kolmogorov 最优逼近性，其提供了指数级的逼近精度，并且在逼近足够光滑的函数时，相较于有限宽深网络，有限宽深层网络需要更小的连通性。

Jan, 2019

过度拟合还是完美拟合？插值分类和回归规则的风险界限

本文分析局部插值方案，包括几何单纯插值算法和单一加权 k 近邻算法，在分类和回归问题中证明了这些方案的一致性或近一致性，并提出了一种解释对抗性示例的方法，同时讨论了与核机器和随机森林的一些联系。

Jun, 2018

深度神经网络逼近不变函数的近似度和复杂度

该研究在理论上研究了深度神经网络在不变函数中的逼近和复杂度特性，证明了不变函数可以被各种类型的神经网络模型进行渐近逼近，并且提供应用于高分辨率信号的参数估计和预测的技术。

Oct, 2022

神经网络的近似和梯度下降训练

通过研究使用神经切向核（NTK）优化方法来训练的网络，本文对使用梯度下降训练的网络建立了类似的结果，以扩展逼近结果的平滑性，从而显示了这两种理论的兼容性。

May, 2024

神经网络中良性过拟合现象的理解探讨

本研究探讨了现代机器学习模型中广泛存在的过度拟合现象及理论预测，表明超学习风险会在满足一定条件的情况下逐渐减小，并且在两层神经网络中使用 ReLU 激活函数的情况下具有近最小化学习率的能力。同时，还发现当网络参数数量超过 O (n^2) 时，超学习风险开始增加，这与最近的实证结果相符。

Jun, 2021