Jul, 2020

神经网络中的插值相变：懒惰训练下的记忆和泛化

PDF
TL;DR在神经切向（NT）区域的背景下，研究了过参数化现象和它们的推广误差特征，揭示了经验 NT 内核的特征并且证明了测试误差可以被无穷宽内核的核岭回归误差很好地近似。
neural networksoverparametrizationgeneralization errornt kernelpolynomial ridge regression
发现论文，激发创造
  • 深度神经网络的惰性训练下的良性过拟合

    该论文探讨和证明了过参数化的深度神经网络利用懒惰训练策略可以实现贝叶斯最优测试误差，同时获得（几乎）零训练误差，并提出了三个相关概念的统一。

    May, 2023

  • 神经网络中良性过拟合现象的理解探讨

    本研究探讨了现代机器学习模型中广泛存在的过度拟合现象及理论预测，表明超学习风险会在满足一定条件的情况下逐渐减小，并且在两层神经网络中使用 ReLU 激活函数的情况下具有近最小化学习率的能力。同时，还发现当网络参数数量超过 O (n^2) 时，超学习风险开始增加，这与最近的实证结果相符。

    Jun, 2021

  • 深度学习模型中参数数量与泛化能力的关系及数量级的估算

    本文通过神经切向核将大型神经网络连接到核方法，探讨了初始化会导致神经网络输出函数在期望附近产生有限大小的随机波动，影响分类的广义误差。我们最终的分析表明，在计算限制条件下，使用几个中间大小的网络，略高于阈值点，对它们的输出求平均，可以获得最小的分类误差。

    Jan, 2019

  • 回归中的无害噪声数据插值

    本研究探讨了深度神经网络在训练数据含有噪声且参数个数超过数据点个数时，仍能够实现零训练误差且具有泛化能力的机制，并阐述了过拟合和特征选择不佳对泛化能力的影响。

    Mar, 2019

  • 近邻插值器：快速规范增长与插值与泛化之间的权衡

    我们研究了接近插值线性回归器的泛化能力，证明了任何接近插值器都表现出快速的范数增长，并且精确表征了插值和泛化之间的渐进权衡。

    Mar, 2024

  • 高维线性化双层神经网络

    本论文研究了在球面上进行方差损失下的未知函数 f * 的学习问题，并研究了神经切向核模型和 Rahimi-Recht 的随机特征模型等两种流行的模型，以及核岭回归。同时，论文探讨了样本数量有限或由于关于度数和样本数的适当估计而未能实现最优化性能时的情况，以及核方法随机选取核函数时的情况。

    Apr, 2019

  • 岭回归中的良性过拟合

    本研究探讨了过参数化模型在插值噪声数据时的行为，分析了数据的协方差结构和高效秩的子空间是如何影响该现象的发生，并提供了正则化条件下的结果。

    Sep, 2020

  • 过参数化神经网络的一致泛化界

    本文介绍了神经网络中过度参数化情况下的泛化误差及其相关的新理论，即神经切向核理论，通过该理论的信息获取量计算出学习问题的复杂度并证明了泛化误差的上界，同时讨论了该理论对于强化学习领域的应用。

    Sep, 2021

  • 关于过拟合两层神经切向核模型的泛化能力

    本文研究具有 ReLU 激活函数且没有偏差项的两层神经网络的神经切向核（NTK）模型的 min（L2）-norm 过拟合解的泛化性能，并显示随着神经元数目 p 的增加，测试误差表现出不同于具有简单傅里叶或高斯特征的过度参数化线性模型的 “双峰现象” 的特征。

    Mar, 2021

  • 随机特征和神经切向法中记忆和鲁棒性之间的基本折衷

    本文研究了两层神经网络在各种高维线性化模式下的（非）鲁棒性，并确立了模型复现和鲁棒性之间的基本权衡。

    Jun, 2021