关于均匀收敛和低范数插值学习

Jun, 2020

On Uniform Convergence and Low-Norm Interpolation Learning

Lijia Zhou, Danica J. Sutherland, Nathan Srebro

TL;DR本研究在考虑一个欠定的，有噪音的线性回归模型，其中最小范数插值预测器因为一致性而被认为是有效的，研究者探究是否均匀收敛以及范数球时的学习机制能够解释其成功，发现虽然均匀收敛不能证明范数球中的学习，但可以用一种略弱但比较常见的方式解释最小范数插值器一致性的存在，同时该研究使用这种方式限定了低（但不是最小）范数插值器的泛化误差。

Abstract

We consider an underdetermined noisy linear regression model where the minimum-norm interpolating predictor is known to be consistent, and ask: can uniform convergence in a norm ball, or at least (following Nagar

underdetermined linear regression minimum-norm interpolating predictor uniform convergence consistency generalization error

发现论文，激发创造

噪声数据最小 L1 范数插值的紧密界限

提供了最小 L1 - 范数插值器的预测误差的匹配上下界，实现了噪声下最小范数插值的渐进一致性，这是第一篇研究针对等向特征和稀疏真相的文献，补充了关于最小 L2 - 范数插值的 “良性过拟合” 的文献，当特征是有效低维时，才能实现渐进一致性。

Nov, 2021

迁移学习中最小范规则化插值器的泛化误差

该论文通过对池化的最小 l2 范数插值在转移学习中的广义误差进行建模，研究了模型转换和协变量转换下的偏差和方差。

Jun, 2024

统一收敛的辩护：通过去随机化来实现泛化，应用于插值预测器

本研究提出通过基于替代学习模型以及条件概率分布进行去随机化以及降噪，提高对于交叉验证数据集的分类效果。

Dec, 2019

近邻插值器：快速规范增长与插值与泛化之间的权衡

我们研究了接近插值线性回归器的泛化能力，证明了任何接近插值器都表现出快速的范数增长，并且精确表征了插值和泛化之间的渐进权衡。

Mar, 2024

愚蠢的群体支持良性过度拟合

研究了稀疏插值程序在高参数化区域中对于高斯数据的线性回归问题的超额风险的下界，并将该结果应用于芯片追踪问题，从而揭示出一种类似于 “群众智慧” 的效应，即通过在多个方向上分散 “噪声” 来减少风险。

Oct, 2021

插值分类器几乎不犯错

本文分析了最小范数插值分类器的遗憾和概括，并推导出一种适用于所有数据集的错误边界和正则化变量。当数据独立同分布时，错误边界意味着 MNIC 的泛化率与插值解的范数成比例，与数据点数成反比。作者提出了几个合理的生成模型，并证明只要总变差足够可分，MNIC 就可以以快速率进行泛化。

Jan, 2021

使用浅层单变量 ReLU 网络的噪声插值学习

研究了使用最小范数两层 ReLU 网络进行有噪单变量回归时的渐近过拟合行为，发现对于 L1 损失和 p<2 的任何 Lp 损失缓解了过拟合，但对于 p≥2 却是灾难性的。

Jul, 2023

最小二乘插值和核的有限下降和受限低等距

本文研究了复制内核希尔伯特空间中数据最小范插值的风险，并发现了这些插值在样本大小方面的非单调性。文中还针对相应的内核提出了新的估计和泛化保证。

Aug, 2019

均匀收敛可能无法解释深度学习中的泛化

通过实验结果，揭示了现存深度学习的多种基于均匀收敛理论的泛化界都是数值较大，因而引起了人们的质疑。而对于使用 GD 训练的超参数线性分类器和神经网络，即使我们考虑 GD 的隐式偏差，两边的均匀收敛都无法解释泛化，使得基于均匀收敛的泛化界失去了其解释能力。

Feb, 2019

通过感知机的最小范数插值：显式正则化和隐式偏差

研究在使用 ReLU 网络时，通过对已知区域进行插值，证明了经验风险最小化器在数据点和参数数目趋向无穷大时收敛到最小范数插值者，当且仅当对应于网络宽度和数据点增长的特定速率消失时对权重衰减正则化项进行惩罚，在显式和隐式正则化情况下，数值方法研究了常见优化算法对已知最小范数插值者的隐含偏好。

Nov, 2023