当协变量和标签同时发生变化时，估计和解释模型性能

Sep, 2022

当协变量和标签同时发生变化时，估计和解释模型性能

Estimating and Explaining Model Performance When Both Covariates and Labels Shift

Lingjiao Chen, Matei Zaharia, James Zou

TL;DR该文研究了机器学习模型在遇到新的用户数据时，如何估计模型的性能，提出了一种新的分布偏移模型 SJS 和算法框架 SEES，实验结果表明 SEES 在各种数据集和分布偏移情况下，相比现有方法，均能显著提高分布偏移误差的估计精度。

Abstract

Deployed machine learning (ML) models often encounter new user data that differs from their training data. Therefore, estimating how well a given model might perform on the new data is an important step toward reliable ML applications. This is very challenging, however, as the data dis

machine learning distribution shift sparse joint shift model sees algorithm estimation error

发现论文，激发创造

类分布估计的不变性假设

我们研究了在数据集偏移下的类别分布估计问题，讨论了协变量转移、可因子化联合转移和稀疏联合转移的假设及其对类别分布估计的影响。

Nov, 2023

数据集转化诊断的统一框架

介绍了使用统一框架来检测数据移位类型并量化其强度，以便改进预测方法，可用于分类和回归任务。

May, 2022

可分解共变移位的域自适应

该论文提出了一个新的处理从共变量和标签中引入偏差的方法（Factorizable Joint Shift, FJS），并提出了一种新的联合重要性对齐（Joint Importance Aligning, JIA）的方法来获得用于监督和无监督领域适应的联合重要性估计器及其训练数据的加权。

Mar, 2022

在稀疏机制转移假设下异质环境下的因果发现

本文探讨了在非独立同分布环境下学习因果结构的方法，提出了稀疏机制偏移假设，并应用于提出的机制偏移得分进行实证研究，结果证明了该算法具有较高的正确性和实用性。

Jun, 2022

Shifts 2.0：扩展实际分布漂移数据集

本文扩展了 Shifts 数据集，加入了两个来源于高风险工业应用的数据集，用于探索模型的鲁棒性和不确定性估计。新数据集包括 3D 磁共振脑图像中白质多发性硬化病变的分割和船舶功耗的估计，具有普遍分布转移和严格的安全要求。

Jun, 2022

无需标签：在协变量漂移下估算部署后模型性能的方法

我们提出了一种鲁棒准确的性能估计方法，用于评估无标签数据上机器学习分类模型的性能，准确量化协变量偏移对模型性能的影响，并在 600 个数据集 - 模型对上进行了评估，结果表明，该方法是估计分类模型在任何评估环境中性能的最佳方法。

Jan, 2024

CodeS: 面向分布偏移下的代码模型泛化

本文提出了 CodeS, 一个用于源代码学习的分布式模型的测试基准数据集，实验证明，在源代码任务中，其他领域的模型无法普遍适用，所有的代码分类模型都存在分布转变且受到表示性分布的影响更大，而预训练的双模型相对分布分离的适应性较强。

Jun, 2022

ELSA: 通过半参数模型视角实现有效标签偏移适应

本文探讨如何解决标签偏移的域自适应问题，提出了基于影响函数几何的时刻匹配框架，讨论了一种名为 ELSA 的解决方案，并通过大量实验证明该方法在无需繁琐的后验校准的情况下，能达到与最先进方法一样的性能并获得计算效率的提升。

May, 2023

通过解释空间检测基于表格数据的分布转移

本研究探讨在数据分布漂移时，机器学习模型的预测性能和模型解释特征如何受影响，以及这些关键指标如何相互关联，发现模型解释任务的建模是检测预测性能变化的更好指标。

Oct, 2022

T-SaS：面向流数据的移动感知动态适应

在没有任何先兆的情况下，本文旨在解决连续数据建模中突发分布转变的问题。具体而言，我们设计了一个名为 T-SaS 的贝叶斯框架，使用离散分布建模变量捕捉数据的突变。然后，我们设计了一个模型，通过学习判断在完整网络中应该激活哪些神经元来实现与该离散变量的动态网络选择进行自适应。通过一组稀疏网络的重叠，采用动态遮罩策略来支持不同分布之间的互相转移。大量实验证明我们的方法在准确检测分布转变边界以获取不同分布的片段并有效适应下游预测或分类任务方面优越。

Sep, 2023