多领域局部分布偏差的多重健壮估计

Feb, 2024

多领域局部分布偏差的多重健壮估计

Multiply Robust Estimation for Local Distribution Shifts with Multiple Domains

Steven Wilkins-Reeves, Xu Chen, Qi Ma, Christine Agarwal, Aude Hofleitner

TL;DR通过提出一种两阶段的多样性鲁棒性估计方法，针对表格数据分析，在多个数据分布的片段中改进模型性能，并在常见的机器学习模型上实施。我们在合成和真实数据集上进行广泛实验，证明所提出的方法在回归和分类任务上在预测准确性和鲁棒性方面明显优于现有的替代方法，同时还对一家大型科技公司的用户城市预测数据集进行了评估。

Abstract

distribution shifts are ubiquitous in real-world machine learning applications, posing a challenge to the generalization of models trained on one data distribution to another. We focus on scenarios where data distributions vary across multiple segments of the entire population and only

distribution shifts model performance multiply robust estimation tabular data analysis generalization bound

发现论文，激发创造

机器学习模型在实际中的稳健性、评估与适应性

通过培训算法来提高对于机器学习领域的可靠性，从而应对领域的变化，提高算法的性能，预测其表现并轻量级适应应用领域。

Mar, 2023

通过域不变表示估计分布转移下的泛化能力

本篇论文研究机器学习模型在不同测试分布的情况下表现不佳且过度估计它们的表现的问题，并提出一种基于领域不变性预测模型的方法来更好地估计模型在转移学习领域的性能，从而实现了领域自适应和对给定模型在分布转移情况下进行准确的目标误差估计，并可以用于模型选择、决定早期停机和错误检测。

Jul, 2020

通过选择性增强提高对抗样本的鲁棒性

探讨了在实际应用中常见的基于配分转移的问题，提出了一种选择性增广的简单混合技术 LISA，通过学习不受限制的内部表示或预测器来学习不变的预测器，并在包括亚种人群转移和领域转移的九个基准测试中验证了 LISA 的有效性。

Jan, 2022

稳健验证：即使分布发生偏移，也能自信地做出预测

本文提出了一种建立在鲁棒性预测推断上的不确定性估计模型，使用 conformal inference 方法建立了准确覆盖测试数据分布的预测集，通过估计数据漂移量建立了鲁棒性，并在多个基准数据集上进行了实验证明了该方法的重要性。

Aug, 2020

基于领域和区域的机器学习性能抗协变量移位能力评估

本文研究了异变转移对传统机器学习模型性能的影响，通过对概率密度函数域的区域进行分类器性能评估，发现在二维分类问题中，随机森林算法表现最好，在高维实验中，模型主要受到分类函数复杂度的影响，对高密度区域呈现出高偏差的性质。

Apr, 2023

针对分布偏移的天气预报改进的稳健校准

通过使用专家混合技术和计算机视觉领域的先进数据增强技术，结合对预测不确定性的稳健后期校准，我们可以在表格数据的深度神经网络中实现比提升树模型更准确和更好校准的结果，从而改进领域外天气预测和不确定性估计。

Jan, 2024

多域温度缩放的鲁棒校准

本文提出了一种基于多个不同领域数据的系统校准模型 —— 多域温度缩放，用于处理分布变化，通过实验证明，该方法在处理相同的训练数据和测试数据的情况下表现出更好的鲁棒性和性能。

Jun, 2022

基于多源数据的分布鲁棒机器学习

利用多源数据建立组分布鲁棒预测模型以优化关于目标分布解释方差的对抗性奖励，提高了面对分布偏移的目标群体的预测准确性；该模型是源群体条件结果模型的加权平均，并通过引入偏差校正估计器提高了聚合权重的收敛速度，同时满足一些隐私约束并具有解释不同源数据对于预测给定目标协变量分布的重要性的优点。

Sep, 2023

分布偏移的细粒度分析

本研究提出了一种框架来分析各种分布转移，并通过评估 19 个不同类别的方法，提供了当前最先进方法的整体分析。结果显示，与标准 ERM 基线相比，预训练和数据扩充（学习或启发式）在许多情况下都具有很大的优势，但不能很好地适应不同的数据集和转移。

Oct, 2021

分布偏移下近似最优线性回归

探索在源域具有充足标签数据但目标域仅有稀缺标签数据的情况下，开发了具有最小值线性风险的估计量的转移学习算法，包括协变量转移和模型转移，同时也考虑了数据来自线性或一般非线性模型的情况，证明了线性最小值估计器与各种源／目标分布的非线性估计器相比的绝对误差是一个常量。

Jun, 2021