样本有效大小、维数和协变量转移适应中的泛化

Oct, 2020

Effective Sample Size, Dimensionality, and Generalization in Covariate Shift Adaptation

Felipe Maia Polo, Renato Vicente

TL;DR本文研究了在监督学习中，训练和测试数据集经常被从不同的分布中抽样，因此需要进行领域适应技术，本文重点探讨了如何在协变量偏移适应的情况下，使用有效样本数、数据维度和泛化能力来建立一种统一的理论，并证明了降维或特征选择可以提高有效样本量，并支持在协变量偏移适应之前进行降维处理。

Abstract

In supervised learning, training and test datasets are often sampled from distinct distributions. domain adaptation techniques are thus required.

发现论文，激发创造

基于观测数据的领域自适应问题，通过线性结构因果模型和表示学习方法，研究使用不变的协变量表示来解决概念漂移和改善目标预测的可行性，并通过在 Stiefel 流形上约束优化来证明大多数局部最优解与不变的线性子空间一致。通过验证实现方法和理论的三个真实数据集。

Jun, 2024

本文研究了机器学习中的一个重要研究主题：协变量转移。我们表明这个领域的方法都可以归为信息几何的范畴，并且我们提出的方法可以更高效地进行参数搜索和更好地适应数据，结果比现有方法好。

Apr, 2023

本文提出了一种算法，用于校准模型预测并考虑协变量转移的情况，采用重要性加权法纠正训练分布与实际分布的差异，并通过领域适应的方法实现两个分布尽可能一致，实证结果表明，该方法在存在协变量转移时优于现有的校准方法。

Feb, 2020

提出了一个基于表示学习和样本重加权的误差界，针对因果推断和无监督域自适应问题，在设计转换下减少泛化误差的算法框架，与以往方法相比具有更好的效果并具有渐近一致性。

Feb, 2018

本文针对协变量偏移问题提出了一种半生成模型，该模型能够利用未标注的数据进行自适应学习和半监督学习，并且通过学习原因和影响同时作用的形式，解决了因果推理问题和领域转移问题，实验表明该方法在分类任务中具有显著优势。

Jul, 2018

在这篇研究论文中，我们介绍了一种通过重要性加权的协变量偏移适应方法的双重健壮估计器，该估计器结合了回归函数的额外估计器，减少了密度比估计误差引起的偏差，并通过模拟研究证实了该方法的稳健性。

Oct, 2023

基于领域偏移的普适分类器归纳问题几乎困难且复杂，本文通过引入三种不同的分布偏移（概念偏移、协变量偏移和依赖性偏移），提出了一种新颖的领域泛化方法，能够在不同领域中保持模型的准确性和公平性。实验结果表明，该方法在四个基准数据集上超越了现有的方法。

Nov, 2023

本文证明了独立驱动的重要性权重算法的有效性，并将其解释为特征选择过程，指定了最小稳定变量集，在理想条件下，该算法可以识别此集合中的变量，并提供了渐近性质分析，结果在多个合成实验中得到证明。

Nov, 2021

该研究提出了最小化风险分类的方法来处理资料控制变量变化的问题，同时也发展了有效的技术，取得了更好的分类性能。

May, 2023

本文提出一种新的基于监督学习的域适应技术，利用最优传输方法和嵌入相似性技术，从少量样本中搜索最优类别相关转换，并在推理中选择相应的转换，能够减小领域差异，并在多个包括模拟和手写数据集的领域漂移时间序列数据集上进行了广泛的评估。

Apr, 2022