Oct, 2023

ReLU 网络中 XOR 聚类数据的良性过拟合与理解

PDF
TL;DR在本研究中，我们证明在两层 ReLU 网络中，通过梯度下降训练，当训练标签中有恒定比例的错误时，神经网络在第一步达到 100％的训练准确性，然后在测试数据上表现出随机的准确性，而在后续的训练步骤中达到接近最优的测试准确性，这展示了一种新的过拟合现象。
neural networksgradient descentoverfittinggeneralizationxor cluster data
发现论文，激发创造
  • 两层 ReLU 卷积神经网络在 XOR 数据中的良性过拟合

    通过梯度下降训练的过参数化的修正线性单元卷积神经网络在一定的样本复杂度和信噪比条件下能够实现接近贝叶斯最优准确率，并且能够高效地学习存在高度相关特征的异或类型分类任务。

    Oct, 2023

  • 输入维度适中的带有泄漏 ReLU 的网络中的良性过拟合

    该研究针对二元分类任务，使用带有折线损失的两层泄漏整流线性单元网络，研究了良性过拟合问题，通过对模型参数的信号噪声比进行特征化，发现高信噪比出现良性过拟合，低信噪比出现有害过拟合，并将良性和非良性过拟合归因于近似边际最大化特性，同时降低了训练数据的正交性要求。

    Mar, 2024

  • 使用铰链损失函数训练浅层 ReLU 网络的噪声数据：过拟合何时发生且是否良性？

    本文探讨了使用梯度下降和 hinge loss 在嘈杂数据上训练的两层 ReLU 网络的良性过拟合问题，研究了线性可分数据，给出了干净数据边距的条件，得到了良性过拟合，过拟合和非过拟合三种不同的情况，并揭示了神经元训练过程中的两个不同阶段。

    Jun, 2023

  • 神经网络中良性过拟合现象的理解探讨

    本研究探讨了现代机器学习模型中广泛存在的过度拟合现象及理论预测，表明超学习风险会在满足一定条件的情况下逐渐减小，并且在两层神经网络中使用 ReLU 激活函数的情况下具有近最小化学习率的能力。同时，还发现当网络参数数量超过 O (n^2) 时，超学习风险开始增加，这与最近的实证结果相符。

    Jun, 2021

  • 超越神经网络的理解：模型复杂性的实证探索

    网络神经元及其他建模方法中存在着 “不可解释” 的现象，其精确度远超过训练集的表现，本文试图寻找并研究这种神奇现象背后的机制。

    Oct, 2023

  • 从惰性训练动态到丰富训练动态的领悟

    神经网络在从懒散训练动力学过渡到强大的特征学习规则时，产生 ' 领悟现象 '，通过研究多项式回归问题上的两层神经网络，我们发现特征学习速率和初始特征与目标函数的对齐是产生 ' 领悟现象 ' 的关键因素。

    Oct, 2023

  • 深度神经网络的惰性训练下的良性过拟合

    该论文探讨和证明了过参数化的深度神经网络利用懒惰训练策略可以实现贝叶斯最优测试误差，同时获得（几乎）零训练误差，并提出了三个相关概念的统一。

    May, 2023

  • 深刻理解：深度神经网络是否能更好地泛化？

    通过深度神经网络的研究，我们发现 grokking 现象对于深层网络更为敏感，且特征排名的减少与过拟合到泛化阶段的相变存在关联，特征排名可能比权重范数更能指示模型的泛化行为。

    May, 2024

  • 神经网络中的特征学习和泛化：随机特征增强

    本文探讨了二层 ReLU 神经网络梯度下降训练过程中的特征学习，研究了使用 XOR 函数生成的带标签二进制数据，对一定比例的训练标签的干扰具有影响。我们证明了线性分类器并不比随机猜测的效果更好，而使用梯度下降训练二层 ReLU 神经网络可以达到接近噪声率的泛化误差。我们提出了一种新的证明技术，证明了在初始化时，绝大多数神经元都具有随机特征的性质，与有用特征之间的相关性较弱，而梯度下降动态将这些弱随机特征 “放大” 为强有用特征。

    Feb, 2022

  • 从 tempered 到 benign 的 ReLU 神经网络过拟合

    本文研究过参数神经网络的过拟合现象，并证明了在不同的维度下会出现不同种类的过拟合现象，包括良性过拟合和温和过拟合，并解释了这些现象与样本大小、网络结构等因素的相关性。

    May, 2023