本篇论文介绍了 WILDS 2.0 的更新，通过增加真实部署中可获得的无标签数据，扩展了 WILDS 基准测试中 10 个数据集中的 8 个。研究人员在这些数据集上进行了系统性基准测试，展示了当前最先进的方法使用无标签数据在现实世界应用中的局限性，并提供了一个开源软件包来自动化数据加载和包含本文中使用的所有模型架构和方法。

Dec, 2021

本文介绍了机器学习领域中的分布漂移和时间漂移问题，通过时间戳元数据来增强模型学习能力，提出了一个包含五个数据集的基准测试，使用 13 种不同的方法进行系统评估，同时针对不同的实际应用场景设计了两种评估策略，发现现有的方法已经无法缩小在分布内和分布外数据间的性能差距。

Nov, 2022

本文扩展了 Shifts 数据集，加入了两个来源于高风险工业应用的数据集，用于探索模型的鲁棒性和不确定性估计。新数据集包括 3D 磁共振脑图像中白质多发性硬化病变的分割和船舶功耗的估计，具有普遍分布转移和严格的安全要求。

Jun, 2022

本研究提出了 Shifts 数据集，用于评估不确定性预测和对分布偏移的鲁棒性，并提供了基线结果和任务描述。

Jul, 2021

通过对 CIFAR-10、ImageNet、FMoW-WILDS 和 iWildCam-WILDS 等模型和数据集的实证研究，我们展示了机器学习系统在未知、分布不同的环境中表现的强相关性，并提供了基于高斯数据模型的理论解释。

Jul, 2021

本研究评估了 204 个 ImageNet 模型在 213 个不同的测试条件下的表现，发现大多数当前技术无法提供对真实数据中分布变化的健壮性，唯一例外的是在较大且更多样化的数据集上进行训练可以在多种情况下提高健壮性，并且我们的研究表明当前真实数据中的分布变化是一个开放的问题。

Jul, 2020

本研究提出了 MetaShift—— 一个覆盖 410 个类别的 12,868 个自然图像的集合 —— 旨在通过对自然异质性的利用来对抗数据分布的变化与转移，并提出了关于不同数据集之间的独特性的显式解释以及度量分数。通过 MetaShift 的实验结果表明，当分布转移不是很大时，简单的经验风险最小化方法最佳；而在大的分布转移情况下，没有任何一种方法具有显著的优势。MetaShift 还可以帮助可视化模型训练过程中不同数据子集之间的冲突。

Feb, 2022

本文针对分布转移对深度学习模型性能和可靠性的影响，研究了两种类型的分布转移：多样性转移和相关性转移，并提出了一种综合协议来分析这两种转移。应用我们的方法到一个真实的皮肤癌分类问题，最终有三个发现：模型在低偏差情况下仍学习和传播与转移相关的内容；模型学习了强健的特征但仍使用其他的特征；多样性转移可以降低偏差模型对于与转移相关的特征的依赖性。

May, 2023

通过 Wild-Tab，一个面向表格回归任务的大规模基准测试集，我们在实际环境中评估了 10 种不同的 out-of-distribution generalization 方法，发现 Empirical Risk Minimization 在所有评估中都表现出强大的鲁棒性，与最先进的方法不相上下，这有望促进对 out-of-distribution generalization 的更多研究并有助于在各种实际场景中部署机器学习模型。

Dec, 2023

使用合成数据和统计度量来评估分布变化和模型不确定性，为实现机器学习应用在现实世界中的成功部署提供了重要方法和见解。

May, 2024