本文分析局部插值方案,包括几何单纯插值算法和单一加权 k 近邻算法,在分类和回归问题中证明了这些方案的一致性或近一致性,并提出了一种解释对抗性示例的方法,同时讨论了与核机器和随机森林的一些联系。
Jun, 2018
本研究探讨了深度神经网络在训练数据含有噪声且参数个数超过数据点个数时,仍能够实现零训练误差且具有泛化能力的机制,并阐述了过拟合和特征选择不佳对泛化能力的影响。
Mar, 2019
在神经切向(NT)区域的背景下,研究了过参数化现象和它们的推广误差特征,揭示了经验 NT 内核的特征并且证明了测试误差可以被无穷宽内核的核岭回归误差很好地近似。
Jul, 2020
本文通过研究感知偏差的强度程度,探讨了过度拟合噪声现象所谓 “良性过度拟合” 或 “无害插值” 时的影响因素,给出了高维卷积核回归收敛界限的紧密非渐进限制,并提供了旋转不变性差异的不同滤波器尺寸深度神经网络的经验证据。
Jan, 2023
本文阐述了深度学习和机器学习等领域中,数学理论在实践中的不足和理论难题。作者尝试从揭示深度学习基础的角度探究插值和超参数化的作用,以期近一步走向深度学习和机器学习的普适理论。
May, 2021
通过证明,我们发现基于狭窄的 “教师神经网络” 存在时,随机的神经网络插值器通常具有很好的泛化能力。具体而言,我们显示出这种对神经网络参数化的 “平坦” 先验在神经网络函数上引发丰富的先验,这是由于神经网络结构中的冗余性引起的。特别是,这会导致对于更简单的函数具有偏好,这些函数需要较少的相关参数来表示,以实现与教师相当数量的参数(大致上是非冗余参数的数量)相关的样本复杂度的学习。
Feb, 2024
利用极限学习机来训练具有一层隐藏层的前馈神经网络(也称为浅层或两层网络),研究插值问题中的准确性以及使用 Chebychev 节点时的全局多项式逼近与 ANN 插值函数的异常行为。
Aug, 2023
神经网络训练中,决策边界位于训练数据密度低的区域,受到少数训练样本的影响容易导致过度拟合;我们提供了一种简单的算法,通过对样本及其最近邻的预测(在潜在空间中计算)进行加权平均,以优化神经网络在标签噪声、对抗攻击、分类准确性等方面的性能。
Oct, 2023
本研究探讨了现代机器学习模型中广泛存在的过度拟合现象及理论预测,表明超学习风险会在满足一定条件的情况下逐渐减小,并且在两层神经网络中使用 ReLU 激活函数的情况下具有近最小化学习率的能力。同时,还发现当网络参数数量超过 O (n^2) 时,超学习风险开始增加,这与最近的实证结果相符。
Jun, 2021
该论文分析了在过参数化的线性学习问题中,平滑性和低泛化误差之间的关系,并研究了随机傅里叶级数模型,在该模型中,通过等距采样来估计未知傅里叶系数,研究了常规和加权最小二乘估计器的泛化误差,展示了加权三角形插值可以带来较小的过参数化泛化误差。
Jun, 2020