Oct, 2023

对密度比率估计鲁棒的协变量偏移适应

PDF
TL;DR在这篇研究论文中，我们介绍了一种通过重要性加权的协变量偏移适应方法的双重健壮估计器，该估计器结合了回归函数的额外估计器，减少了密度比估计误差引起的偏差，并通过模拟研究证实了该方法的稳健性。
covariate shift adaptationimportance weightingdensity ratiodoubly robust estimatordouble machine learning techniques
发现论文，激发创造
  • 协变量偏移适应性的双加权方法

    该研究提出了最小化风险分类的方法来处理资料控制变量变化的问题，同时也发展了有效的技术，取得了更好的分类性能。

    May, 2023

  • 基于无监督域自适应的校准变量偏移预测

    本文提出了一种算法，用于校准模型预测并考虑协变量转移的情况，采用重要性加权法纠正训练分布与实际分布的差异，并通过领域适应的方法实现两个分布尽可能一致， 实证结果表明，该方法在存在协变量转移时优于现有的校准方法。

    Feb, 2020

  • 在协变量偏移下，在少量测试样本的情况下改善公平性和准确性的权衡

    在测试数据中的协变量偏移可以显著降低模型的准确性和公平性表现。我们提出了一种基于加权熵的预测准确性目标和表示匹配损失的新型组合目标函数，通过实验证明了我们的损失函数优化在公平性与准确性的权衡上优于其他基线方法。我们还提出了一种称为不对称协变量偏移的新颖设置，并展示了我们的方法在这种设置下的显著优势。最后，我们理论上证明了在训练集上的加权熵项和预测损失可以近似于协变量偏移时的测试损失。我们通过实验证明了这种对未见测试损失的近似不依赖于影响其他基线方法的重要性采样方差。

    Oct, 2023

  • 距离在改善协变量偏移下的性能估计中起作用

    考虑到协变量转移下测试样本与预期训练分布的距离，可以显著提高性能估计，通过引入 “距离检查” 来避免依赖于不可信任的模型输出以进行准确度估计。

    Aug, 2023

  • 信息几何泛化协变量移位自适应

    本文研究了机器学习中的一个重要研究主题：协变量转移。我们表明这个领域的方法都可以归为信息几何的范畴，并且我们提出的方法可以更高效地进行参数搜索和更好地适应数据，结果比现有方法好。

    Apr, 2023

  • 协变量转移下的一致性预测

    本文提出拓展 Conformal Prediction 方法，可计算在测试和训练协变量分布不同的情况下的无分布预测区间，同时在数据满足一定加权交换性的情况下，拓展还可以应用于其他设置，如潜在变量和缺失数据问题。

    Apr, 2019

  • 可扩展且无超参数的非参数转移适应与条件采样

    我们提出了一种新的非参数方法来进行协变量转移适应，避免了权重估计和超参数调整，并实现了样本规模几乎线性的运行时间，同时保持了与参数方法相同的收敛速度。

    Dec, 2023

  • 自主驱动的重要性权重理论分析 —— 基于协变量偏移广义化的研究

    本文证明了独立驱动的重要性权重算法的有效性，并将其解释为特征选择过程，指定了最小稳定变量集，在理想条件下，该算法可以识别此集合中的变量，并提供了渐近性质分析，结果在多个合成实验中得到证明。

    Nov, 2021

  • 在 RKHS 中的密度比自适应学习

    通过分析一类正则化 Bregman 散度的密度比率估计方法，我们得出新的有限样本误差界，并提出一种 Lepskii 类的参数选择原则，在不知道密度比率的规则性的情况下最小化误差界。在二次损失的特殊情况下，我们的方法能够自适应地达到极小极大误差率。

    Jul, 2023

  • 样本有效大小、维数和协变量转移适应中的泛化

    本文研究了在监督学习中，训练和测试数据集经常被从不同的分布中抽样，因此需要进行领域适应技术，本文重点探讨了如何在协变量偏移适应的情况下，使用有效样本数、数据维度和泛化能力来建立一种统一的理论，并证明了降维或特征选择可以提高有效样本量，并支持在协变量偏移适应之前进行降维处理。

    Oct, 2020