Oct, 2024

经过训练的两层ReLU网络的良性过拟合回归

HTML
PDF
TL;DR本文研究了使用ReLU激活函数的两层全连接神经网络的最小二乘回归问题，提出了一种在有限宽度的ReLU网络中实现良性过拟合的理论框架。通过对过度风险的分解，我们能够避免均匀收敛的陷阱，并证明了在数据拟合过程中，相同设置下的训练网络会过拟合数据。这一研究为各类回归函数提供了新的理解和策略。
发现论文，激发创造
  • 线性可分数据上的ReLU网络学习：算法，最优性和泛化

    本文提出了一种新的随机梯度下降算法，利用随机噪声扰动，无需任何假设于数据分布、网络大小和训练集大小，就能够证明地达到单隐藏层ReLU网络的全局最优性，同时提出了一些一般的泛化保证，此外，数值测试结果也验证了算法和理论的实用性。

    Aug, 2018

  • 神经网络中良性过拟合现象的理解探讨

    本研究探讨了现代机器学习模型中广泛存在的过度拟合现象及理论预测，表明超学习风险会在满足一定条件的情况下逐渐减小，并且在两层神经网络中使用ReLU激活函数的情况下具有近最小化学习率的能力。同时，还发现当网络参数数量超过O(n^2)时，超学习风险开始增加，这与最近的实证结果相符。

    Jun, 2021

  • 单隐藏层神经网络梯度流性质与线性激活函数的研究

    通过研究神经网络的超参数化和过拟合对梯度下降算法鲁棒性的影响，我们证明了过度参数化会引入伪平衡点，阻碍梯度下降算法的收敛。

    May, 2023

  • 固定维度下核函数和神经网络的良性过拟合

    本研究发现，神经网络的光滑度才是决定良性过拟合的关键，只有在评估器的导数充分大时才能实现良性过拟合。我们证明在固定维度中，光滑度适中的良性过拟合是不可能的，在回归模型中，采用一系列具有大导数的峰形平滑内核可以实现良性过拟合。通过添加小的高频波动到激活函数中，可以在无限宽的神经网络中实现良性过拟合，从而提高在低维数据集上的泛化性能。

    May, 2023

  • 从 tempered 到 benign 的 ReLU 神经网络过拟合

    本文研究过参数神经网络的过拟合现象，并证明了在不同的维度下会出现不同种类的过拟合现象，包括良性过拟合和温和过拟合，并解释了这些现象与样本大小、网络结构等因素的相关性。

    May, 2023

  • 深度神经网络的惰性训练下的良性过拟合

    该论文探讨和证明了过参数化的深度神经网络利用懒惰训练策略可以实现贝叶斯最优测试误差，同时获得（几乎）零训练误差，并提出了三个相关概念的统一。

    May, 2023

  • 使用铰链损失函数训练浅层ReLU网络的噪声数据：过拟合何时发生且是否良性？

    本文探讨了使用梯度下降和hinge loss在嘈杂数据上训练的两层ReLU网络的良性过拟合问题，研究了线性可分数据，给出了干净数据边距的条件，得到了良性过拟合，过拟合和非过拟合三种不同的情况，并揭示了神经元训练过程中的两个不同阶段。

    Jun, 2023

  • 使用浅层单变量ReLU网络的噪声插值学习

    研究了使用最小范数两层ReLU网络进行有噪单变量回归时的渐近过拟合行为，发现对于L1损失和p<2的任何Lp损失缓解了过拟合，但对于p≥2却是灾难性的。

    Jul, 2023

  • 输入维度适中的带有泄漏ReLU的网络中的良性过拟合

    该研究针对二元分类任务，使用带有折线损失的两层泄漏整流线性单元网络，研究了良性过拟合问题，通过对模型参数的信号噪声比进行特征化，发现高信噪比出现良性过拟合，低信噪比出现有害过拟合，并将良性和非良性过拟合归因于近似边际最大化特性，同时降低了训练数据的正交性要求。

    Mar, 2024

  • 单变量ReLU网络中稳定的极小值无法过拟合：大步长的泛化

    我们研究了具有噪声标签的一元非参数回归问题中两层ReLU神经网络的泛化。我们提出了一种新的局部极小值泛化理论，证明了梯度下降算法在常数学习率下能稳定收敛至该极小值。我们证明了在合理的假设下，梯度下降算法可以找到表示平滑函数的局部极小值，并给出了均方误差的近乎最优上界。我们的理论结果通过大量模拟验证，表明大学习率训练可以得到稀疏线性样条拟合。我们是第一个在非插值情况下通过极小值稳定性获得泛化界限的研究，并且证明了没有正则化的ReLU神经网络可以在非参数回归中实现接近最优的速率。

    Jun, 2024