过参数化对于超出分布之外的普适性的益处

Mar, 2024

过参数化对于超出分布之外的普适性的益处

On the Benefits of Over-parameterization for Out-of-Distribution Generalization

Yifan Hao, Yong Lin, Difan Zou, Tong Zhang

TL;DR研究了过参数化模型在 Out-of-Distribution 问题下的性能，发现模型容量的增加和模型集成有助于提高 OOD 推广能力。

Abstract

In recent years, machine learning models have achieved success based on the independently and identically distributed assumption. However, this assumption can be easily violated in real-world applications, leading to the Out-of-Distribution (OOD) problem. Understanding how modern over-

machine learning models out-of-distribution problem over-parameterized models ood generalization model ensembles

发现论文，激发创造

关于超出分布泛化的理论框架

本文第一次尝试对 OOD 问题的可学习性和扩张函数进行严格和量化的定义，并引入了一个新的扩张函数概念来量化不变特征的方差程度，进而证明了 OOD 泛化误差界，实验证明我们的模型选择标准相比基线有显著优势。

Jun, 2021

面向外部分布泛化：一项调查

该研究论文系统而全面地讨论了 Out-of-Distribution generalization 问题，其中包括它的定义、方法论、评估以及对未来的启示和发展方向，以及包括无监督表示学习在内的现有方法。

Aug, 2021

关于外分布泛化评估的调研

机器学习模型在非独立同分布的数据分布下表现出可疑的风险，因此需要发展算法来评估和改善模型的泛化能力以及处理分布变化的能力。本文综述了现有的非独立同分布泛化评估的研究，将其划分为三个范式：非独立同分布性能测试、非独立同分布性能预测和非独立同分布内在特性表征，并简要讨论了预训练模型的非独立同分布评价。最后，提出了未来研究的几个有前景的方向。

Mar, 2024

理解生成式 Transformer 模型在 OOD 泛化中的神秘性能下降

基于生成 Transformer 模型在解决各种问题方面取得了显著的熟练度，但其泛化能力尚未被完全理解并且不始终令人满意。研究人员将 n 位数加法或乘法等基本数学任务作为调查其泛化行为的重要角度。然而，有趣的是，当在 n 位数操作（例如加法）上进行训练时，模型在未见过的 n 位数输入上可以成功泛化（分布内泛化），但在更长的、未见过的情况下却失败且神秘（分布外泛化）。研究试图通过修改位置嵌入、微调和引导更广泛或更有指导性的数据等解决方案来弥合这一差距。然而，如果不解决基本机制，对于这些解决方案的鲁棒性几乎没有任何保证。我们引起人们对这种无法解释的性能下降的注意，并询问它是否纯粹是由于随机错误。在这里，我们转向机制研究的线路，这在模型可解释性方面取得了显著的成功。我们发现强 ID 泛化源于结构化表示，而在令人不满意的 OOD 性能方面，模型仍然展现出明确的学习代数结构。具体而言，这些模型将未见过的 OOD 输入映射到具有 ID 域等价关系的输出。这凸显了模型携带有用信息以改善泛化的潜力。

Aug, 2023

探索特征学习在越界泛化中的作用

通过理论研究发现，EMR 本质上学习了误差特征和不变特征，并且在 EMR 预训练期间学习的特征质量显着影响了最终的 OOD 性能。为了解决这个问题，我们提出了特征增强训练（FAT），通过保留已经学习到的特征并增加新的特征来强制模型学习所有有用的特征，并在不同子集的训练数据上执行保留和增强操作。广泛的实验表明，当应用于各种目标时，FAT 有效地学习更丰富的特征并持续改善 OOD 性能。

Apr, 2023

OoD-Bench: 量化和理解外分布泛化的两个维度

通过对分布偏移数据的分类和对其相关算法的大量实验比较，对已有数据集和算法进行了分类整合，为未来的迁移学习和数据偏移研究提供了参考。

Jun, 2021

离分布数据的价值

在本研究中，我们发现了一个反直觉的现象：在涉及目标任务的样本数量增加之前，由于少量的来自未知分布数据的样本，可以提高任务的泛化性能，但随着样本数量的增加，泛化误差达到阈值后会逐渐下降；我们采用合成数据集上的 Fisher's Linear Discriminant 和计算机视觉基准数据集（如 MNIST、CIFAR-10、CINIC-10、PACS 和 DomainNet）上的深度神经网络来证明这一现象；在我们知道哪些样本是未知分布的理想情况下，我们可以使用适当加权的目标和外部风险的目标函数来利用这些非单调趋势，但其实际效用有限，此外，当我们不知道哪些样本是未知分布时，数据增强、超参数优化和预训练等常用策略仍然无法保证目标泛化误差不会随着未知分布样本数量的增加而下降。

Aug, 2022

通过多元化揭示 OOD 推广的关键组成部分

多样化方法对无标签数据的分布敏感，单纯多样化无法实现 OOD 泛化，学习算法的选择至关重要，将导致精度绝对下降 20％；选择最佳学习算法依赖于无标签数据，同时无标签数据也依赖于学习算法的选择。增加多样性假设数量不能解决这些问题。以上发现为了深入理解多样化方法的 OOD 泛化提供了关键设计因素，指导实践和研究。

Dec, 2023

在不同程度的分布偏移下，鲁棒性可能比我们认为的更脆弱

我们的研究探讨了分布偏移程度的更加微妙的评估设置，我们发现模型的稳健性在不同程度的分布偏移下可能相当脆弱和不一致，因此在从有限范围下的评估中得出结论时应更加谨慎。此外，我们观察到大规模预训练模型（如 CLIP）对于新颖下游任务的微小分布偏移也很敏感。这表明，尽管预训练表示可以帮助提高内分布性能，但在某些 OOD 场景中可能对泛化性能产生最小甚至负面影响，如果不正确使用。鉴于这些发现，我们鼓励未来的研究在可能的情况下进行更广泛范围的评估。

Oct, 2023

通过对抗训练和预训练改进 OOD 泛化

本文利用 Wasserstein 距离定义了 out-of-distribution（OOD）一般化，理论上证明对输入扰动具有鲁棒性的模型可以在 OOD 数据上一般化；在图像分类和自然语言理解任务上进行了实证验证，并进一步理论证明了在预训练和微调范式中，更具扰动输入鲁棒性的预训练模型可以更好地初始化在下游 OOD 数据的泛化，实验证明在经过微调后，这种通过对抗训练预训练的更好初始化的模型也有更好的 OOD 一般化。

May, 2021