基于核的非参数回归的最小化最优迁移学习

Oct, 2023

基于核的非参数回归的最小化最优迁移学习

Minimax Optimal Transfer Learning for Kernel-based Nonparametric Regression

Chao Wang, Caixing Wang, Xin He, Xingdong Feng

TL;DR通过研究转移学习在非参数回归问题上的应用，本文提出了两种解决方案：已知转移源时使用基于核岭回归的两步核估计器，未知转移源时使用基于高效集成算法的新方法，该方法可以自动检测并减轻负面源的影响，并通过大量的数值实验证实了理论结果并展示了提出的方法的有效性。

Abstract

In recent years, transfer learning has garnered significant attention in the machine learning community. Its ability to leverage knowledge from related studies to improve generalization performance in a target study has made it highly appealing. This paper focuses on investigating the

transfer learning nonparametric regression reproducing kernel hilbert space kernel ridge regression aggregation algorithm

发现论文，激发创造

非参数回归的迁移学习：非渐近极小化分析与自适应程序

非参数回归的传递学习研究中，开发了一种自信阈值估计器，该估计器被证明在寻找最小最大风险时能够实现对数因子的最优性。结果展示了传递学习中的两个独特现象：自动平滑和超加速，这两者使之与传统环境下的非参数回归有所区别。随后，提出了一种数据驱动算法，能够自适应地在广泛的参数空间内达到对数因子的最小最大风险。通过模拟研究来评估自适应传递学习算法的数值性能，并提供了一个实际例子以演示所提方法的好处。

Jan, 2024

非参数分类的迁移学习：极小极大风险和自适应分类器

本文研究了在后验漂移模型下，基于不同分布的观测数据的非参数分类问题中的迁移学习，首先构建了一个速率最优的两样本加权 K-NN 分类器并证明了收敛速率下限，接着提出了一种数据驱动的自适应分类器，证明了其能够同时在大量参数空间上实现接近最优速率，并给出了仿真研究和实际数据应用。同时，本文还考虑了多个源分布的情况。

Jun, 2019

线性和单隐藏层神经网络转移学习的极小化下界

本研究开发了一个统计极小化框架以表征在回归中通过线性和单隐藏层神经网络模型进行的迁移学习的基本限制，并提取出源数据和目标数据的标记数以及适当的相似性概念作为算法所能实现的目标泛化误差的下限。我们的下限提供了迁移学习的益处和限制的新见解，并通过各种实验验证了我们的理论发现。

Jun, 2020

平滑自适应假设迁移学习

通过提出两阶段核岭回归的 Smoothness Adaptive Transfer Learning (SATL) 算法，解决了现有两阶段基于核的假设迁移学习算法在实践中由于目标 / 源与偏移之间的可变和未知平滑度而适应性不足的问题，通过采用高斯核适应目标 / 源以及其偏移函数的未知平滑度，SATL 算法能够实现最小极值优化，同时通过最小极值收敛速率揭示了影响迁移动态的因素，并证明了与非迁移学习设置相比，SATL 具有更好的性能。

Feb, 2024

分布偏移下近似最优线性回归

探索在源域具有充足标签数据但目标域仅有稀缺标签数据的情况下，开发了具有最小值线性风险的估计量的转移学习算法，包括协变量转移和模型转移，同时也考虑了数据来自线性或一般非线性模型的情况，证明了线性最小值估计器与各种源／目标分布的非线性估计器相比的绝对误差是一个常量。

Jun, 2021

分布回归学习理论

本文研究了分布回归问题，提出了一种基于再生核希尔伯特空间的简单分析计算的岭回归方法，证明了该方法在两阶段抽样设置下是一致的，并且该估算器能够达到一阶段最小化最优速率。

Nov, 2014

回归任务的简单可迁移性估计

我们提出了两种简单且计算高效的方法，基于线性回归模型的负正则化均方差误差来估计优化的目标模型的转移性，在准确性和效率两方面显著优于现有的最先进的回归可转移性估计器。

Dec, 2023

协变量偏移下的最小范数插值

高维线性回归中的过拟合与泛化问题在转移学习中的不同表现及风险边界进行了分析和研究，并提出了基于超参数化程度的有益和有害转变偏差的分类方法。

Mar, 2024

Just Interpolate: 核 “无岭” 回归能够泛化

使用不带显式正则化的核 “无岭” 回归及非线性核函数能完美拟合训练数据，本文分离了最小范数插值解的隐含正则化现象，这是由于输入数据的高维性、核函数的曲率以及数据的几何特性所导致的，并给出了一种数据相关的外样本误差的上界估计。

Aug, 2018

非参数学习非局部算子中的核函数

本文采用数据自适应 RKHS Tikhonov 正则化方法，提出基于可识别性函数空间的非局部算子核学习的收敛估计器，成功地从实际数据中学习微观尺度上应用于非均质固体的应力波传播的均质化模型，并在健壮性，泛化性和准确性方面优于基线方法。

May, 2022