回归中的无害噪声数据插值

Mar, 2019

Harmless interpolation of noisy data in regression

Vidya Muthukumar, Kailas Vodrahalli, Anant Sahai

TL;DR本研究探讨了深度神经网络在训练数据含有噪声且参数个数超过数据点个数时，仍能够实现零训练误差且具有泛化能力的机制，并阐述了过拟合和特征选择不佳对泛化能力的影响。

Abstract

A continuing mystery in understanding the empirical success of deep neural networks has been in their ability to achieve zero training error and yet generalize well, even when the training data is noisy and there

发现论文，激发创造

高维无脊岭最小二乘插值中的惊喜

本文研究了高维最小二乘回归中的最小L2范数（“无岭”）插值，并考虑了特征分布的两个不同模型：线性模型和非线性模型

Mar, 2019

线性回归中的良性过拟合

研究表明，过度拟合是深度学习方法的主要问题之一，但当训练中使用最小规范化规则时，线性回归问题中的过度拟合也可以实现高精度预测，需要超参数数量显著超过样本大小。

Jun, 2019

关于均匀收敛和低范数插值学习

本研究在考虑一个欠定的，有噪音的线性回归模型，其中最小范数插值预测器因为一致性而被认为是有效的，研究者探究是否均匀收敛以及范数球时的学习机制能够解释其成功，发现虽然均匀收敛不能证明范数球中的学习，但可以用一种略弱但比较常见的方式解释最小范数插值器一致性的存在，同时该研究使用这种方式限定了低（但不是最小）范数插值器的泛化误差。

Jun, 2020

神经网络中的插值相变：懒惰训练下的记忆和泛化

在神经切向（NT）区域的背景下，研究了过参数化现象和它们的推广误差特征，揭示了经验NT内核的特征并且证明了测试误差可以被无穷宽内核的核岭回归误差很好地近似。

Jul, 2020

深度学习：统计观点

探讨了深度学习中简单梯度方法在寻找接近最优解的非凸优化问题上的出人意料的成功，以及其之所以具有超预期的表现，推断是因为过度参数化可以让梯度方法寻找插值解，这些方法隐含地施加正则化，并且过度参数化导致了良性过拟合等基本原理构成了这个现象，同时摘要了最新的理论进展，重点考虑了神经网络的线性区域。

Mar, 2021

神经网络中良性过拟合现象的理解探讨

本研究探讨了现代机器学习模型中广泛存在的过度拟合现象及理论预测，表明超学习风险会在满足一定条件的情况下逐渐减小，并且在两层神经网络中使用ReLU激活函数的情况下具有近最小化学习率的能力。同时，还发现当网络参数数量超过O(n^2)时，超学习风险开始增加，这与最近的实证结果相符。

Jun, 2021

强归纳偏置可证明防止无害插值

本文通过研究感知偏差的强度程度，探讨了过度拟合噪声现象所谓“良性过度拟合”或“无害插值”时的影响因素，给出了高维卷积核回归收敛界限的紧密非渐进限制，并提供了旋转不变性差异的不同滤波器尺寸深度神经网络的经验证据。