训练早期对于超出分布泛化的影响

Mar, 2024

训练早期对于超出分布泛化的影响

Early Period of Training Impacts Out-of-Distribution Generalization

Chen Cecilia Liu, Iryna Gurevych

TL;DR研究早期神经网络训练对神经网络在分布内任务上的性能有显著影响，但对于神经网络在分布外任务上的泛化性能的影响尚未得到充分研究。本研究使用渐进解冻（即逐渐解冻训练参数）的方法调查学习动态和神经网络训练早期的分布外泛化关系，发现渐进解冻对分布内结果影响微小，但对分布外数据的泛化性能有很大影响；通过实验验证了初始训练阶段的Fisher信息矩阵迹和锐度的相对值可能是判断分布外泛化性能的指标，同时这些指标可以用来在神经网络早期训练中去除干预，以实现更好的分布外泛化性能。

Abstract

Prior research has found that differences in the early period of neural network training significantly impact the performance of in-distribution (ID) tasks. However, neural networks are often sensitive to out-of-distribution (OOD) data, making them less reliable in downstream applicati

发现论文，激发创造

灾难性费舍尔爆炸：早期阶段费舍尔矩阵影响泛化

深度神经网络训练初期对损失函数的局部曲率有巨大影响。随机梯度下降（SGD）在训练早期隐含地惩罚了Fisher信息矩阵的迹，并且这种隐式的正则化方法会显著提高泛化能力。

Dec, 2020

OoD-Bench: 量化和理解外分布泛化的两个维度

通过对分布偏移数据的分类和对其相关算法的大量实验比较，对已有数据集和算法进行了分类整合，为未来的迁移学习和数据偏移研究提供了参考。

Jun, 2021

关于超出分布泛化的理论框架

本文第一次尝试对OOD问题的可学习性和扩张函数进行严格和量化的定义，并引入了一个新的扩张函数概念来量化不变特征的方差程度，进而证明了OOD泛化误差界，实验证明我们的模型选择标准相比基线有显著优势。

Jun, 2021

离分布数据的价值

在本研究中，我们发现了一个反直觉的现象：在涉及目标任务的样本数量增加之前，由于少量的来自未知分布数据的样本，可以提高任务的泛化性能，但随着样本数量的增加，泛化误差达到阈值后会逐渐下降；我们采用合成数据集上的Fisher's Linear Discriminant和计算机视觉基准数据集（如MNIST、CIFAR-10、CINIC-10、PACS和DomainNet）上的深度神经网络来证明这一现象；在我们知道哪些样本是未知分布的理想情况下，我们可以使用适当加权的目标和外部风险的目标函数来利用这些非单调趋势，但其实际效用有限，此外，当我们不知道哪些样本是未知分布时，数据增强、超参数优化和预训练等常用策略仍然无法保证目标泛化误差不会随着未知分布样本数量的增加而下降。

Aug, 2022

探索特征学习在越界泛化中的作用

通过理论研究发现，EMR本质上学习了误差特征和不变特征，并且在EMR预训练期间学习的特征质量显着影响了最终的OOD性能。为了解决这个问题，我们提出了特征增强训练（FAT），通过保留已经学习到的特征并增加新的特征来强制模型学习所有有用的特征，并在不同子集的训练数据上执行保留和增强操作。广泛的实验表明，当应用于各种目标时，FAT有效地学习更丰富的特征并持续改善OOD性能。

Apr, 2023

在不同程度的分布偏移下，鲁棒性可能比我们认为的更脆弱

我们的研究探讨了分布偏移程度的更加微妙的评估设置，我们发现模型的稳健性在不同程度的分布偏移下可能相当脆弱和不一致，因此在从有限范围下的评估中得出结论时应更加谨慎。此外，我们观察到大规模预训练模型（如CLIP）对于新颖下游任务的微小分布偏移也很敏感。这表明，尽管预训练表示可以帮助提高内分布性能，但在某些OOD场景中可能对泛化性能产生最小甚至负面影响，如果不正确使用。鉴于这些发现，我们鼓励未来的研究在可能的情况下进行更广泛范围的评估。

Oct, 2023

所有未见数据都不属于分布外吗?

在研究中，我们调查了训练数据的增加对测试数据中的泛化错误的影响，并将未观察到的数据分布定义为训练领域的凸包外的数据，提出了一种基于这一定义的新型泛化界限，并探索了数据增强和预训练等策略以解决这个问题，最后我们还提出了一种在源领域中的强化学习选择算法，能够比基线方法提供更好的性能。

Dec, 2023

关于外分布泛化评估的调研

机器学习模型在非独立同分布的数据分布下表现出可疑的风险，因此需要发展算法来评估和改善模型的泛化能力以及处理分布变化的能力。本文综述了现有的非独立同分布泛化评估的研究，将其划分为三个范式：非独立同分布性能测试、非独立同分布性能预测和非独立同分布内在特性表征，并简要讨论了预训练模型的非独立同分布评价。最后，提出了未来研究的几个有前景的方向。

Mar, 2024

过参数化对于超出分布之外的普适性的益处

研究了过参数化模型在Out-of-Distribution问题下的性能，发现模型容量的增加和模型集成有助于提高OOD推广能力。

Mar, 2024

预训练模型的外部分布泛化受哪些变量影响？

预训练深度神经网络嵌入广泛使用，然而在下游任务中它们的有效性各不相同。本文通过隧道效应假设研究了影响预训练深度神经网络嵌入进行域外泛化的因素。通过改变网络架构、训练数据集、图像分辨率和增强等条件来研究如何减轻隧道效应，并使用新颖的SHAP分析量化了每个变量的影响。我们的结果强调了将玩具数据集的发现推广到更广泛的背景下的危险性。

May, 2024