ICMLJun, 2024

协变量变换下的高维核方法：数据依赖隐式正则化

PDF
TL;DR本文研究了在协变量转移下高维核岭回归，并分析了重要性重新加权的作用。我们首先推导了协变量转移下高维核的渐近展开式。通过偏差 - 方差分解，我们在理论上证明了重新加权策略可以降低方差。对于偏差，我们分析了任意或精心选择的规范化尺度对偏差的影响，表明偏差在不同的规范化尺度下表现得非常不同。在我们的分析中，偏差和方差可以由一个数据相关的正则化核的谱衰减特性来描述：原始核矩阵与附加的重新加权矩阵相关联，因此重新加权策略可以被视为一种数据相关的正则化以便更好地理解。此外，我们的分析还提供了协变量转移下核函数 / 向量的渐近展开，具有自己的研究兴趣。
发现论文，激发创造
  • 协变量转移适应中的一般正则化

    通过重新加权样本，本研究在再生核希尔伯特空间中修正最小二乘学习算法的误差，以解决未来数据分布与训练数据分布不同引起的问题，并证明在弱平滑条件下，相比现有分析所证明的，为了达到与标准监督学习相同精度所需的样本数量更小。

    Jul, 2023

  • 面向协变量偏移条件下核方法统一分析的探究

    统一分析了具有协变量转移的一般非参数方法在再生核希尔伯特空间下的理论，得出了收敛速度，并与现有文献中使用的最优结果相吻合。在合成和实际例子上进行的广泛数值研究证实了我们的理论发现，进一步说明了我们提出的方法的有效性。

    Oct, 2023

  • 高维核回归：超越双谷现象的细致分析

    该研究通过建立偏差 - 方差分解方法，研究了高维核岭回归在欠参数和过参数情况下的泛化性能特征， 揭示了特定的正则化方案下偏差和方差与训练数据数量 n 和特征维度 d 的组合方式对核回归风险曲线的形状的影响。

    Oct, 2020

  • 预测的高维渐近性：岭回归和分类

    本文在高维渐近极端条件下，对岭回归和正则化判别分析在密集随机效应模型中的预测风险进行了统一分析，并提供了两种方法的极限预测风险的明确和高效可计算的表达式。同时，揭示了岭回归和正则化判别分析各自的一些定性见解，本分析基于最近在随机矩阵理论领域的一些新进展。

    Jul, 2015

  • 普通内核的旋转不变性如何阻碍高维泛化

    该论文研究了核岭回归在高维情况下存在偏差的问题，分析了常用核函数（如 RBF 核、内积核和全连接 NTK 核）的旋转不变性属性在高维情况下对低次多项式存在偏差，从而阐明了核岭回归普遍性一般性误差的下限，这表明核函数的结构超出了其特征值衰减和需要更精细的分析。

    Apr, 2021

  • 自主驱动的重要性权重理论分析 —— 基于协变量偏移广义化的研究

    本文证明了独立驱动的重要性权重算法的有效性，并将其解释为特征选择过程，指定了最小稳定变量集，在理想条件下，该算法可以识别此集合中的变量，并提供了渐近性质分析，结果在多个合成实验中得到证明。

    Nov, 2021

  • TransFusion：高维回归的协变量漂移鲁棒迁移学习

    在高维回归环境中，我们提出了一种具有新型融合正则化器的两步法，有效利用来自源任务的样本，提高对具有有限样本的目标任务的学习性能，并提供了目标模型估计误差的非渐近界限，表明所提方法对协变量转变的鲁棒性。我们进一步确定了估计器最小化优选的条件。此外，我们将该方法扩展到分布式环境，允许预训练和微调策略，仅需一轮通信，同时保持了集中式版本的估计率。数值测试验证了我们的理论，突出了该方法对协变量转变的鲁棒性。

    Apr, 2024

  • 基于现实假设的核回归泛化

    对于几乎所有常见和现实设置，本论文旨在提供一种统一的理论来上界核回归的超额风险。通过提供适用于常见核函数和任意正则化、噪声、输入维度和样本数量的严格界限，并提供核矩阵特征值的相对扰动界限，揭示了核矩阵的特征值尾部分布形成一种隐式正则化现象，从而实现良好的泛化。本研究的结果适用于高输入维度的良性过拟合、固定维度的近似过拟合以及正则化回归的明确收敛速率。

    Dec, 2023

  • 对密度比率估计鲁棒的协变量偏移适应

    在这篇研究论文中，我们介绍了一种通过重要性加权的协变量偏移适应方法的双重健壮估计器，该估计器结合了回归函数的额外估计器，减少了密度比估计误差引起的偏差，并通过模拟研究证实了该方法的稳健性。

    Oct, 2023

  • 核均值匹配在协变量转移下的分析

    针对一种特定的协变量偏移问题，该研究利用核均值匹配 (KMM) 估计器的高概率置信界推导出该估计器的收敛速率，并与自然插值估计器进行比较，结果表明其具有更好的效果和应用价值。

    Jun, 2012