我们引入了一种新的泛化概念——Distributional Generalization，旨在研究分类器在训练和测试时的输出在*分布上*的相似性，本文给出了与此相关的形式上的猜想并提供了跨多个领域的实证证据。

Sep, 2020

通过对分布偏移数据的分类和对其相关算法的大量实验比较，对已有数据集和算法进行了分类整合，为未来的迁移学习和数据偏移研究提供了参考。

Jun, 2021

本文第一次尝试对OOD问题的可学习性和扩张函数进行严格和量化的定义，并引入了一个新的扩张函数概念来量化不变特征的方差程度，进而证明了OOD泛化误差界，实验证明我们的模型选择标准相比基线有显著优势。

Jun, 2021

该研究论文系统而全面地讨论了Out-of-Distribution generalization问题，其中包括它的定义、方法论、评估以及对未来的启示和发展方向，以及包括无监督表示学习在内的现有方法。

Aug, 2021

我们综合调查了图形领域中的ODD概括率，并详细审查了最近在这个领域取得的进展，然后根据其在图形机器学习流水线中的位置，从数据、模型和学习策略等不同概念上将现有方法分为三类，并对每个类别进行了详细讨论，最后分享了我们对未来研究方向的看法。

Feb, 2022

本研究提出了一种针对领域间泛化问题的新方法，通过使用修改非因果特征但不改变因果特征的转换方式，从而获得跨领域的最优模型，并且该方法只需要一个单一领域的数据即可实现，在实验中证明了该方法的有效性。

Mar, 2022

本研究探讨了如何测量和改善模型的鲁棒性，并提供了五个包括准确性、校准误差、对抗攻击、环境不变性和综合污染的数据集对深度学习网络进行了分析与比较，发现鲁棒性的提升与具体数据集相关，且关系更为复杂。

Jul, 2022

在本研究中，我们发现了一个反直觉的现象：在涉及目标任务的样本数量增加之前，由于少量的来自未知分布数据的样本，可以提高任务的泛化性能，但随着样本数量的增加，泛化误差达到阈值后会逐渐下降；我们采用合成数据集上的Fisher's Linear Discriminant和计算机视觉基准数据集（如MNIST、CIFAR-10、CINIC-10、PACS和DomainNet）上的深度神经网络来证明这一现象；在我们知道哪些样本是未知分布的理想情况下，我们可以使用适当加权的目标和外部风险的目标函数来利用这些非单调趋势，但其实际效用有限，此外，当我们不知道哪些样本是未知分布时，数据增强、超参数优化和预训练等常用策略仍然无法保证目标泛化误差不会随着未知分布样本数量的增加而下降。

Aug, 2022

在研究中，我们调查了训练数据的增加对测试数据中的泛化错误的影响，并将未观察到的数据分布定义为训练领域的凸包外的数据，提出了一种基于这一定义的新型泛化界限，并探索了数据增强和预训练等策略以解决这个问题，最后我们还提出了一种在源领域中的强化学习选择算法，能够比基线方法提供更好的性能。

Dec, 2023

机器学习模型在非独立同分布的数据分布下表现出可疑的风险，因此需要发展算法来评估和改善模型的泛化能力以及处理分布变化的能力。本文综述了现有的非独立同分布泛化评估的研究，将其划分为三个范式：非独立同分布性能测试、非独立同分布性能预测和非独立同分布内在特性表征，并简要讨论了预训练模型的非独立同分布评价。最后，提出了未来研究的几个有前景的方向。

Mar, 2024