噪声数据最小 L1 范数插值的紧密界限

Nov, 2021

噪声数据最小 L1 范数插值的紧密界限

Tight bounds for minimum l1-norm interpolation of noisy data

Guillaume Wang, Konstantin Donhauser, Fanny Yang

TL;DR提供了最小 L1 - 范数插值器的预测误差的匹配上下界，实现了噪声下最小范数插值的渐进一致性，这是第一篇研究针对等向特征和稀疏真相的文献，补充了关于最小 L2 - 范数插值的 “良性过拟合” 的文献，当特征是有效低维时，才能实现渐进一致性。

Abstract

We provide matching upper and lower bounds of order $\sigma^2/\log(d/n)$ for the prediction error of the minimum $\ell_1$-norm interpolator, a.k.a. basis pursuit. Our result is tight up to negligible terms when $d \gg n$, and is the first to imply →

minimum l1-norm interpolator prediction error asymptotic consistency isotropic features sparse ground truths

发现论文，激发创造

愚蠢的群体支持良性过度拟合

研究了稀疏插值程序在高参数化区域中对于高斯数据的线性回归问题的超额风险的下界，并将该结果应用于芯片追踪问题，从而揭示出一种类似于 “群众智慧” 的效应，即通过在多个方向上分散 “噪声” 来减少风险。

Oct, 2021

关于均匀收敛和低范数插值学习

本研究在考虑一个欠定的，有噪音的线性回归模型，其中最小范数插值预测器因为一致性而被认为是有效的，研究者探究是否均匀收敛以及范数球时的学习机制能够解释其成功，发现虽然均匀收敛不能证明范数球中的学习，但可以用一种略弱但比较常见的方式解释最小范数插值器一致性的存在，同时该研究使用这种方式限定了低（但不是最小）范数插值器的泛化误差。

Jun, 2020

一种精确的用于提升和最小 -ℓ-1 - 范数插值分类器的高维渐近理论

本文建立了一个精确的高维渐近理论，探讨了分离数据上的 Boosting 的统计和计算方法。在考虑特征（弱学习器）数量 $p$ 与样本大小 $n$ 比例过大的高维情况下，提供了一种统计模型的确切分析，探讨了 Boosting 在插值训练数据并最大化经验 l1-margin 时的泛化误差，解答了 Boosting 的相关问题。同时，文章研究了最大 l1-margin，引入了新的非线性方程和高斯比较技术和均匀偏差论证。

Feb, 2020

高维无脊岭最小二乘插值中的惊喜

本文研究了高维最小二乘回归中的最小 L2 范数（“无岭”）插值，并考虑了特征分布的两个不同模型：线性模型和非线性模型

Mar, 2019

迁移学习中最小范规则化插值器的泛化误差

该论文通过对池化的最小 l2 范数插值在转移学习中的广义误差进行建模，研究了模型转换和协变量转换下的偏差和方差。

Jun, 2024

近邻插值器：快速规范增长与插值与泛化之间的权衡

我们研究了接近插值线性回归器的泛化能力，证明了任何接近插值器都表现出快速的范数增长，并且精确表征了插值和泛化之间的渐进权衡。

Mar, 2024

使用浅层单变量 ReLU 网络的噪声插值学习

研究了使用最小范数两层 ReLU 网络进行有噪单变量回归时的渐近过拟合行为，发现对于 L1 损失和 p<2 的任何 Lp 损失缓解了过拟合，但对于 p≥2 却是灾难性的。