本文研究了高维最小二乘回归中的最小 L2 范数（“无岭”）插值，并考虑了特征分布的两个不同模型：线性模型和非线性模型

Mar, 2019

本研究探讨了过参数化模型在插值噪声数据时的行为，分析了数据的协方差结构和高效秩的子空间是如何影响该现象的发生，并提供了正则化条件下的结果。

Sep, 2020

本文研究了具有随机特征和随机梯度下降的无脊椎回归的统计属性，探索了随机梯度和随机特征中因素的影响，特别是随机特征误差呈现双峰曲线。在理论结果的启发下，我们提出了一种可调节的核算法，优化核的谱密度。本研究架起了插值理论和实际算法之间的桥梁。

May, 2022

本文分析局部插值方案，包括几何单纯插值算法和单一加权 k 近邻算法，在分类和回归问题中证明了这些方案的一致性或近一致性，并提出了一种解释对抗性示例的方法，同时讨论了与核机器和随机森林的一些联系。

Jun, 2018

本研究探讨了深度神经网络在训练数据含有噪声且参数个数超过数据点个数时，仍能够实现零训练误差且具有泛化能力的机制，并阐述了过拟合和特征选择不佳对泛化能力的影响。

Mar, 2019

通过基于先前指定的内核，采用数值逼近方法进行核函数选择 / 构造，从而探索构造非参数深度内核的解决方案，通过减半插值点的数量（使用与内核相关联的本征 RKHS 范数进行度量）而不会显着损失精度的简单前提来进行核函数选择。

Aug, 2018

在神经切向（NT）区域的背景下，研究了过参数化现象和它们的推广误差特征，揭示了经验 NT 内核的特征并且证明了测试误差可以被无穷宽内核的核岭回归误差很好地近似。

Jul, 2020

本文通过研究感知偏差的强度程度，探讨了过度拟合噪声现象所谓 “良性过度拟合” 或 “无害插值” 时的影响因素，给出了高维卷积核回归收敛界限的紧密非渐进限制，并提供了旋转不变性差异的不同滤波器尺寸深度神经网络的经验证据。

Jan, 2023

该论文研究了核岭回归在高维情况下存在偏差的问题，分析了常用核函数（如 RBF 核、内积核和全连接 NTK 核）的旋转不变性属性在高维情况下对低次多项式存在偏差，从而阐明了核岭回归普遍性一般性误差的下限，这表明核函数的结构超出了其特征值衰减和需要更精细的分析。

Apr, 2021

最近机器学习理论的进展表明，使用过参数化的机器学习算法对带有噪声样本进行插值总是会导致不一致性。然而，这项工作却令人惊讶地发现，在描述物理定律的偏微分方程（PDEs）控制的监督任务中，使用物理知识驱动的学习进行插值的机器学习可以表现出良性过拟合和一致性。分析了解决涉及椭圆型 PDE 的线性逆问题的核岭（无岭）回归的渐进 Sobolev 范数学习曲线。结果显示，PDE 算子可以稳定方差并导致固定维度问题的良性过拟合，与标准回归设置形成对比。还研究了通过最小化不同 Sobolev 范数引入的各种归纳偏差作为隐式正则化的影响。值得注意的是，对于岭回归和无岭回归，收敛速度与具体的（平滑）归纳偏差无关。对于正则化最小二乘估计器，当适当地选择正则化参数时，所有（足够平滑的）归纳偏差都可以实现最优的收敛速度。平滑性要求恢复了先前在贝叶斯设置中发现的条件，并将结论扩展到最小范数插值估计器。

Jun, 2024