高维线性回归中的过拟合与泛化问题在转移学习中的不同表现及风险边界进行了分析和研究,并提出了基于超参数化程度的有益和有害转变偏差的分类方法。
Mar, 2024
我们研究了接近插值线性回归器的泛化能力,证明了任何接近插值器都表现出快速的范数增长,并且精确表征了插值和泛化之间的渐进权衡。
本文研究了高维最小二乘回归中的最小 L2 范数(“无岭”)插值,并考虑了特征分布的两个不同模型:线性模型和非线性模型
Mar, 2019
本研究在考虑一个欠定的,有噪音的线性回归模型,其中最小范数插值预测器因为一致性而被认为是有效的,研究者探究是否均匀收敛以及范数球时的学习机制能够解释其成功,发现虽然均匀收敛不能证明范数球中的学习,但可以用一种略弱但比较常见的方式解释最小范数插值器一致性的存在,同时该研究使用这种方式限定了低(但不是最小)范数插值器的泛化误差。
Jun, 2020
插值器不稳定,论文研究了集合稳定如何改善插值器的泛化性能,Bagging 作为一种随机化集合方法能够并行实现,通过引入基于乘法自助法的 Bagged 最小二乘估计器,对最小二乘估计器求平均,得到该方法。该文进一步探讨了 Sketching 和 Bagging 对样品内外预测风险的影响,并发现 Bagging 作为一种形式的隐式正则化手段,能够有效减小方差。
Sep, 2023
本文研究了复制内核希尔伯特空间中数据最小范插值的风险,并发现了这些插值在样本大小方面的非单调性。文中还针对相应的内核提出了新的估计和泛化保证。
Aug, 2019
在神经切向(NT)区域的背景下,研究了过参数化现象和它们的推广误差特征,揭示了经验 NT 内核的特征并且证明了测试误差可以被无穷宽内核的核岭回归误差很好地近似。
Jul, 2020
研究了使用最小范数两层 ReLU 网络进行有噪单变量回归时的渐近过拟合行为,发现对于 L1 损失和 p<2 的任何 Lp 损失缓解了过拟合,但对于 p≥2 却是灾难性的。
Jul, 2023
提供了最小 L1 - 范数插值器的预测误差的匹配上下界,实现了噪声下最小范数插值的渐进一致性,这是第一篇研究针对等向特征和稀疏真相的文献,补充了关于最小 L2 - 范数插值的 “良性过拟合” 的文献,当特征是有效低维时,才能实现渐进一致性。
Nov, 2021
探索在源域具有充足标签数据但目标域仅有稀缺标签数据的情况下,开发了具有最小值线性风险的估计量的转移学习算法,包括协变量转移和模型转移,同时也考虑了数据来自线性或一般非线性模型的情况,证明了线性最小值估计器与各种源/目标分布的非线性估计器相比的绝对误差是一个常量。
Jun, 2021