核岭回归的饱和效应
通过提出两阶段核岭回归的 Smoothness Adaptive Transfer Learning (SATL) 算法,解决了现有两阶段基于核的假设迁移学习算法在实践中由于目标 / 源与偏移之间的可变和未知平滑度而适应性不足的问题,通过采用高斯核适应目标 / 源以及其偏移函数的未知平滑度,SATL 算法能够实现最小极值优化,同时通过最小极值收敛速率揭示了影响迁移动态的因素,并证明了与非迁移学习设置相比,SATL 具有更好的性能。
Feb, 2024
这篇文章研究了核岭回归中的低秩逼近和替代方法,通过引入降维算法和核函数的正则性,探讨了降维逼近的有效维度与正则化参数的增长关系,并证明了对于合适的核函数,这种增长是渐近对数的,从而使得低秩逼近成为纽斯特伦方法。
Feb, 2024
本文针对 Kernel ridge regression 方法的不足,提出了一种新的优化方法 Kernel Gradient Flow,通过引入不同于 ridge 惩罚的惩罚项,以及在训练过程中减小核函数的带宽,该方法得到了更好的结果。
Jun, 2023
该研究通过建立偏差 - 方差分解方法,研究了高维核岭回归在欠参数和过参数情况下的泛化性能特征, 揭示了特定的正则化方案下偏差和方差与训练数据数量 n 和特征维度 d 的组合方式对核回归风险曲线的形状的影响。
Oct, 2020
通过使用迭代方法并在训练过程中逐渐减小带宽,我们可以解决内核岭回归中的超参数选择问题,并取得优于使用常数带宽的结果。同时,我们证明了这种方法不仅能够实现训练误差为零且具有良好泛化性能,还能产生双下降现象,这些特征在常数带宽的内核岭回归和神经网络中并不常见。
Nov, 2023
在这篇论文中,我们在温和且更现实的假设下,对学习曲线进行了全面的描述,详细阐述了正则化参数、源条件和噪声的选择对学习曲线的影响和相互作用。特别地,我们的结果表明,在噪声水平较小时,' 良性过拟合现象 ' 只存在于非常宽的神经网络中。
Sep, 2023