协变量偏移的最优表示

ICLRDec, 2021

Optimal Representations for Covariate Shift

Yangjun Ruan, Yann Dubois, Chris J. Maddison

TL;DR介绍了一种简单的变分目标，其极值恰好是所有表示集合，其风险最小化器保证对任何保留贝叶斯预测者的分布转移都是强健的，例如，协变量转移。该方法包含了两个方面，第一个方面是表示必须保持判别，即某些预测者必须能够同时使源风险和目标风险最小化；第二个方面是表示的边际支持在源和目标之间需要相同。通过设计自监督目标来训练稳健的表示，从而使此方法成为实际可行。本文还研究了 CLIP 的鲁棒性并改进了其表示，以在 DomainBed 上实现 SOTA 结果。

Abstract

machine learning systems often experience a distribution shift between training and testing. In this paper, we introduce a simple variational objective whose optima are exactly the set of all representations on w

machine learning distribution shift bayes predictor self-supervised objectives robust representations

发现论文，激发创造

检测和应对分布偏移下的伪特征

本文主要探讨机器学习中机器如何学习到能够捕捉输入特征与输出标签之间因果关系的鲁棒性表征，以及在有偏或有限数据集上可能存在的虚假相关性。提出了一种基于最小充分统计量的鲁棒表征和虚假表征的信息理论概念，并基于分组分布式鲁棒优化方法来缓解输入分布偏移的问题，同时通过实验展示该方法在图像和语言任务中具有显著的鲁棒性优势。

Jun, 2021

通过域不变表示估计分布转移下的泛化能力

本篇论文研究机器学习模型在不同测试分布的情况下表现不佳且过度估计它们的表现的问题，并提出一种基于领域不变性预测模型的方法来更好地估计模型在转移学习领域的性能，从而实现了领域自适应和对给定模型在分布转移情况下进行准确的目标误差估计，并可以用于模型选择、决定早期停机和错误检测。

Jul, 2020

学习概念转变时：混淆、不变性和降维

基于观测数据的领域自适应问题，通过线性结构因果模型和表示学习方法，研究使用不变的协变量表示来解决概念漂移和改善目标预测的可行性，并通过在 Stiefel 流形上约束优化来证明大多数局部最优解与不变的线性子空间一致。通过验证实现方法和理论的三个真实数据集。

Jun, 2024

分布偏移下的稳定对抗学习

本文提出了一种 Stable Adversarial Learning（SAL）算法，该算法通过利用异构数据源构建更实用的不确定性集合，并针对与目标之间的相关性稳定性进行差异化的强鲁棒性优化，在随机梯度优化的情况下证明了可行性和提供了性能保证。该算法的实证研究在模拟和实际数据集上验证了其总体表现较好的有效性。

Jun, 2020

零样本学习中的类别分布变化：学习鲁棒表征

在这篇研究论文中，我们研究了一个隐藏变量引起的类别分布偏移的情景，针对零样本分类器在训练课程上学习的表示被应用于新的未见类别的情况，我们引入了一种算法用于学习在这种类别分布偏移下具有鲁棒性的数据表示。我们展示了我们的方法，将分层数据抽样与越域泛化技术相结合，能够改进在模拟和真实数据集中对多样的类别分布的泛化能力。

Nov, 2023

通过分布式鲁棒性优化应对标签漂移

本论文提出了一种基于分布鲁棒优化的模型，通过设计并分析梯度下降 - 近端镜像上升算法，用一次训练获得一个对多种标签偏移都具有稳健性的单一分类器，并在 CIFAR-100 和 ImageNet 上的实验中展示出其显著的性能提高。

Oct, 2020

应用于强化学习的纠正误指的回归中减轻协变量变化

在机器学习应用中普遍存在分布偏移现象，本文研究在模型错误规定和对抗性协变量偏移存在的情况下的分布偏移影响，提出一种新的算法，通过鲁棒优化技术避免了错误规定放大，同时获得最佳的统计指标，应用于离线和在线强化学习。

Jan, 2024

分布偏移下近似最优线性回归

探索在源域具有充足标签数据但目标域仅有稀缺标签数据的情况下，开发了具有最小值线性风险的估计量的转移学习算法，包括协变量转移和模型转移，同时也考虑了数据来自线性或一般非线性模型的情况，证明了线性最小值估计器与各种源／目标分布的非线性估计器相比的绝对误差是一个常量。

Jun, 2021

学习加权表示以实现跨设计通用化

提出了一个基于表示学习和样本重加权的误差界，针对因果推断和无监督域自适应问题，在设计转换下减少泛化误差的算法框架，与以往方法相比具有更好的效果并具有渐近一致性。

Feb, 2018

稳健验证：即使分布发生偏移，也能自信地做出预测

本文提出了一种建立在鲁棒性预测推断上的不确定性估计模型，使用 conformal inference 方法建立了准确覆盖测试数据分布的预测集，通过估计数据漂移量建立了鲁棒性，并在多个基准数据集上进行了实验证明了该方法的重要性。

Aug, 2020