在分布转移的研究中，$Y | X$ - 转移最为普遍，我们建立了一个经验测试平台 WhyShift，以评估算法和数据干预对协变量区域的影响，同时也强调未来建立如何处理分布差异的理解对于研究的重要性。

Jul, 2023

本文扩展了 Shifts 数据集，加入了两个来源于高风险工业应用的数据集，用于探索模型的鲁棒性和不确定性估计。新数据集包括 3D 磁共振脑图像中白质多发性硬化病变的分割和船舶功耗的估计，具有普遍分布转移和严格的安全要求。

Jun, 2022

本研究提出了 Shifts 数据集，用于评估不确定性预测和对分布偏移的鲁棒性，并提供了基线结果和任务描述。

Jul, 2021

现有研究在提高对抗鲁棒性方面取得了很大进展，但通常只在与训练数据相同分布的数据上进行测试，即内分布（ID）测试。然而，如何在输入分布转移（即出分布（OOD）测试）下实现这种鲁棒性的泛化仍不清楚。因此，我们提出了一个名为 OODRobustBench 的基准来全面评估 OOD 对抗鲁棒性，使用 23 种数据集级的转移（即输入分布中的自然转移）和 6 种威胁级的转移（即未知的对抗威胁模型）。OODRobustBench 用于评估 706 个稳健模型，使用 60.7K 个对抗性评估。这个大规模分析显示：1）对抗鲁棒性在 OOD 泛化问题上存在严重问题；2）ID 鲁棒性与 OOD 鲁棒性在许多分布转移下呈正线性相关，这使得可以从 ID 鲁棒性预测 OOD 鲁棒性。基于这一点，我们能够预测现有强化训练方案的 OOD 鲁棒性的上限。研究结果表明，实现 OOD 鲁棒性需要设计超出传统方法的新方法。最后，我们发现额外数据、数据增强、先进的模型架构和特定的正则化方法可以提高 OOD 鲁棒性。值得注意的是，与基准相比，发现的训练方案在威胁转移下表现出明显更高的鲁棒性，同时保持高的 ID 鲁棒性，为多攻击和未知攻击的鲁棒性提供新的有希望的解决方案。

Oct, 2023

在机器学习任务中，分布偏移是一种常见情况，其表示训练模型使用的数据与实际应用模型的数据不同。本文旨在定义和检测教育环境中的分布偏移，关注标准预测问题，即学习一个以输入序列为输入（预测变量）X=(x_1,x_2,...,x_m) 并生成输出 Y=f (X) 的模型。

May, 2024

我们的研究探讨了分布偏移程度的更加微妙的评估设置，我们发现模型的稳健性在不同程度的分布偏移下可能相当脆弱和不一致，因此在从有限范围下的评估中得出结论时应更加谨慎。此外，我们观察到大规模预训练模型（如 CLIP）对于新颖下游任务的微小分布偏移也很敏感。这表明，尽管预训练表示可以帮助提高内分布性能，但在某些 OOD 场景中可能对泛化性能产生最小甚至负面影响，如果不正确使用。鉴于这些发现，我们鼓励未来的研究在可能的情况下进行更广泛范围的评估。

Oct, 2023

本研究探讨在数据分布漂移时，机器学习模型的预测性能和模型解释特征如何受影响，以及这些关键指标如何相互关联，发现模型解释任务的建模是检测预测性能变化的更好指标。

Oct, 2022

本研究提出了 MetaShift—— 一个覆盖 410 个类别的 12,868 个自然图像的集合 —— 旨在通过对自然异质性的利用来对抗数据分布的变化与转移，并提出了关于不同数据集之间的独特性的显式解释以及度量分数。通过 MetaShift 的实验结果表明，当分布转移不是很大时，简单的经验风险最小化方法最佳；而在大的分布转移情况下，没有任何一种方法具有显著的优势。MetaShift 还可以帮助可视化模型训练过程中不同数据子集之间的冲突。

Feb, 2022

介绍了使用统一框架来检测数据移位类型并量化其强度，以便改进预测方法，可用于分类和回归任务。

May, 2022

本文提出了 CodeS, 一个用于源代码学习的分布式模型的测试基准数据集，实验证明，在源代码任务中，其他领域的模型无法普遍适用，所有的代码分类模型都存在分布转变且受到表示性分布的影响更大，而预训练的双模型相对分布分离的适应性较强。

Jun, 2022