本文研究了复制内核希尔伯特空间中数据最小范插值的风险,并发现了这些插值在样本大小方面的非单调性。文中还针对相应的内核提出了新的估计和泛化保证。
Aug, 2019
本文分析局部插值方案,包括几何单纯插值算法和单一加权 k 近邻算法,在分类和回归问题中证明了这些方案的一致性或近一致性,并提出了一种解释对抗性示例的方法,同时讨论了与核机器和随机森林的一些联系。
Jun, 2018
我们研究了接近插值线性回归器的泛化能力,证明了任何接近插值器都表现出快速的范数增长,并且精确表征了插值和泛化之间的渐进权衡。
Mar, 2024
使用不带显式正则化的核 “无岭” 回归及非线性核函数能完美拟合训练数据,本文分离了最小范数插值解的隐含正则化现象,这是由于输入数据的高维性、核函数的曲率以及数据的几何特性所导致的,并给出了一种数据相关的外样本误差的上界估计。
Aug, 2018
本研究在考虑一个欠定的,有噪音的线性回归模型,其中最小范数插值预测器因为一致性而被认为是有效的,研究者探究是否均匀收敛以及范数球时的学习机制能够解释其成功,发现虽然均匀收敛不能证明范数球中的学习,但可以用一种略弱但比较常见的方式解释最小范数插值器一致性的存在,同时该研究使用这种方式限定了低(但不是最小)范数插值器的泛化误差。
Jun, 2020
深度学习在理论和实践之间存在理论实践差距,最近的研究关注了过拟合现象及其影响因素,提出了插值信息准则来研究过参数化模型的性能和泛化能力。
Nov, 2023
该论文通过对池化的最小 l2 范数插值在转移学习中的广义误差进行建模,研究了模型转换和协变量转换下的偏差和方差。
Jun, 2024
在神经切向(NT)区域的背景下,研究了过参数化现象和它们的推广误差特征,揭示了经验 NT 内核的特征并且证明了测试误差可以被无穷宽内核的核岭回归误差很好地近似。
Jul, 2020
本文研究了高维最小二乘回归中的最小 L2 范数(“无岭”)插值,并考虑了特征分布的两个不同模型:线性模型和非线性模型
Mar, 2019
本文研究了高超参数线性模型在多类别高斯协变量下的渐近泛化,包括对 Subramanian 等人所提出的双层模型的研究,提出了新的下界,证明了该模型的渐近一致性,并提供了一个在稀疏标签多类问题中广泛适用的 Hanson-Wright 不等式的变体。
Jun, 2023