Oct, 2023

面向协变量偏移条件下核方法统一分析的探究

PDF
TL;DR统一分析了具有协变量转移的一般非参数方法在再生核希尔伯特空间下的理论，得出了收敛速度，并与现有文献中使用的最优结果相吻合。在合成和实际例子上进行的广泛数值研究证实了我们的理论发现，进一步说明了我们提出的方法的有效性。
covariate shiftnonparametric methodsreproducing kernel hilbert spaceconvergence ratesoptimal results
发现论文，激发创造
  • 信息几何泛化协变量移位自适应

    本文研究了机器学习中的一个重要研究主题：协变量转移。我们表明这个领域的方法都可以归为信息几何的范畴，并且我们提出的方法可以更高效地进行参数搜索和更好地适应数据，结果比现有方法好。

    Apr, 2023

  • 协变量变换下的高维核方法：数据依赖隐式正则化

    本文研究了在协变量转移下高维核岭回归，并分析了重要性重新加权的作用。我们首先推导了协变量转移下高维核的渐近展开式。通过偏差 - 方差分解，我们在理论上证明了重新加权策略可以降低方差。对于偏差，我们分析了任意或精心选择的规范化尺度对偏差的影响，表明偏差在不同的规范化尺度下表现得非常不同。在我们的分析中，偏差和方差可以由一个数据相关的正则化核的谱衰减特性来描述：原始核矩阵与附加的重新加权矩阵相关联，因此重新加权策略可以被视为一种数据相关的正则化以便更好地理解。此外，我们的分析还提供了协变量转移下核函数 / 向量的渐近展开，具有自己的研究兴趣。

    Jun, 2024

  • 核均值匹配在协变量转移下的分析

    针对一种特定的协变量偏移问题，该研究利用核均值匹配 (KMM) 估计器的高概率置信界推导出该估计器的收敛速率，并与自然插值估计器进行比较，结果表明其具有更好的效果和应用价值。

    Jun, 2012

  • 可扩展且无超参数的非参数转移适应与条件采样

    我们提出了一种新的非参数方法来进行协变量转移适应，避免了权重估计和超参数调整，并实现了样本规模几乎线性的运行时间，同时保持了与参数方法相同的收敛速度。

    Dec, 2023

  • 协变量转移适应中的一般正则化

    通过重新加权样本，本研究在再生核希尔伯特空间中修正最小二乘学习算法的误差，以解决未来数据分布与训练数据分布不同引起的问题，并证明在弱平滑条件下，相比现有分析所证明的，为了达到与标准监督学习相同精度所需的样本数量更小。

    Jul, 2023

  • 半监督学习中的信息论方法在协变量偏移下的应用

    该研究提出了一种用于半监督学习在数据集分布改变的情景下的新方法，基于信息理论，该方法包括了当前流行的熵最小化和伪标签方法，提出了一些新的上界描述其泛化误差情况，其在数据集分布改变的情景下胜过之前提出的方法。

    Feb, 2022

  • 协变量漂移下的稳健公平性

    通过考虑协变量变化，提出了一种对于未知数据能够保持公正与性能的预测模型的方法。

    Oct, 2020

  • 协变量偏移下的类别先验估计：难点何在？

    本文探究了在分类上，当协变量发生变化时，简单的预先估计方法是不可行的，因为降低协变量的信息量会导致与源和目标分布之间的关系失去恒定性。我们证明了在统计意义上，保留协变量变化特性的协变量变换对于所有协变量是必要的，同时提出了一种另类的探究算法来应对协变量变化下的类先验估计问题。

    Jun, 2022

  • 协变量转移下的一致性预测

    本文提出拓展 Conformal Prediction 方法，可计算在测试和训练协变量分布不同的情况下的无分布预测区间，同时在数据满足一定加权交换性的情况下，拓展还可以应用于其他设置，如潜在变量和缺失数据问题。

    Apr, 2019

  • 数据集转化诊断的统一框架

    介绍了使用统一框架来检测数据移位类型并量化其强度，以便改进预测方法，可用于分类和回归任务。

    May, 2022