本文提出了一个新的 WILDS 基准测试集，其中包含 10 个数据集，反映了现实世界中自然产生的多种分布偏移。在研究中，通过多个数据集的实验表明，现有的方法不能解决分布偏移问题，更需要改进的方法来提高模型的鲁棒性。

Dec, 2020

我们通过综合当前时期和历史时期的数据集，研究模型评估和选择在变化环境中的情况。为了应对未知且可能随机的时间分布转移，我们开发了一种自适应滚动窗口方法来估计给定模型的泛化误差。该策略还通过估计两个候选模型的泛化误差差异来方便比较。我们进一步将两两比较整合到单一淘汰赛中，从候选模型集合中实现接近最优的模型选择。理论分析和数值实验证明了我们提出的方法对数据非稳定性的适应性。

Feb, 2024

本文扩展了 Shifts 数据集，加入了两个来源于高风险工业应用的数据集，用于探索模型的鲁棒性和不确定性估计。新数据集包括 3D 磁共振脑图像中白质多发性硬化病变的分割和船舶功耗的估计，具有普遍分布转移和严格的安全要求。

Jun, 2022

在机器学习任务中，分布偏移是一种常见情况，其表示训练模型使用的数据与实际应用模型的数据不同。本文旨在定义和检测教育环境中的分布偏移，关注标准预测问题，即学习一个以输入序列为输入（预测变量）X=(x_1,x_2,...,x_m) 并生成输出 Y=f (X) 的模型。

May, 2024

TabularShift 是一个用于表格数据的分布转移基准，包含 15 个二分类任务，涵盖金融、教育、公共政策、医疗保健和市民参与等领域，并通过 TableShift API 可轻松访问。在该基准上，我们对多个最先进的表格数据模型进行了大规模研究，并与健壮学习和领域泛化方法进行了比较，结果显示（1）ID 和 OOD 准确性之间存在线性趋势；（2）领域健壮性方法可以缩小转移差距，但会降低 ID 准确性；（3）标签分布转移与转移差距之间存在密切关系。

Dec, 2023

金融文本中存在时间数据分布的变化，如何在不稳定的市场环境中训练一个能够准确推断情感且对时间数据分布变化具有鲁棒性的金融情感分析系统？本文通过对跨越三年的真实金融社交媒体数据集进行经验研究，在时间数据分布变化的情况下分析金融情感分析系统的性能下降问题，并基于金融文本的独特时间性质提出了一种结合异常检测和时间序列建模的新方法用于时间金融情感分析。实验证明该方法增强了模型在波动的金融市场中适应不断变化的时间趋势的能力。

Oct, 2023

本研究提出了 Shifts 数据集，用于评估不确定性预测和对分布偏移的鲁棒性，并提供了基线结果和任务描述。

Jul, 2021

本文中，我们提出了测试时间训练的一般方法，通过将单个未标记的测试样本转化为自监督学习问题并在此基础上更新模型参数，从而改善预测模型在训练和测试数据来自不同分布时的性能，特别是在评估对分布的稳健性方面，我们的简单方法在各种图像分类基准测试中导致了改进。

Sep, 2019

在分布转移的研究中，$Y | X$ - 转移最为普遍，我们建立了一个经验测试平台 WhyShift，以评估算法和数据干预对协变量区域的影响，同时也强调未来建立如何处理分布差异的理解对于研究的重要性。

Jul, 2023

使用大型语言模型和数据源接口来探索和收集时间序列数据集的方法，扩大数据量以应对限制或缺乏关键属性的原始数据，有效补充现有数据集，尤其在数据分布变化方面。演示了通过实际示例证明了收集数据集的有效性，并展示了在这些数据集上进行微调的时间序列预测基础模型与未经微调的模型相比具有可比的性能。

Jun, 2024