朝着强健的分布外泛化：数据增强与神经架构搜索方法

Oct, 2024

朝着强健的分布外泛化：数据增强与神经架构搜索方法

Towards Robust Out-of-Distribution Generalization: Data Augmentation and Neural Architecture Search Approaches

Haoyue Bai

TL;DR本研究针对深度学习在处理分布外数据时性能下降的问题，提出了一种新颖的特征去耦合方法，以减少非关键特征之间的虚假相关性，通过正交化类别和背景损失的梯度来实现。此外，研究还优化了神经架构搜索技术，以发现对分布外泛化性能优良的网络架构。结果表明，该方法在不同的分布变化下具有良好的泛化能力。

Abstract

Deep Learning has been demonstrated with tremendous success in recent years. Despite so, its performance in practice often degenerates drastically when encountering Out-of-Distribution (OoD) data, i.e. training a

发现论文，激发创造

使用越界数据消除不良特征贡献

提出了一种使用缺乏伪标签和数据分布限制的无分布数据进行数据增强的方法，以改善神经网络的推理泛化能力，并在 CIFAR-10，CIFAR-100 和 ImageNet 的子集上进行了实验证明。

Jan, 2021

通过对抗训练和预训练改进OOD泛化

本文利用Wasserstein距离定义了out-of-distribution（OOD）一般化，理论上证明对输入扰动具有鲁棒性的模型可以在OOD数据上一般化；在图像分类和自然语言理解任务上进行了实证验证，并进一步理论证明了在预训练和微调范式中，更具扰动输入鲁棒性的预训练模型可以更好地初始化在下游OOD数据的泛化，实验证明在经过微调后，这种通过对抗训练预训练的更好初始化的模型也有更好的OOD一般化。

May, 2021

OoD-Bench: 量化和理解外分布泛化的两个维度

通过对分布偏移数据的分类和对其相关算法的大量实验比较，对已有数据集和算法进行了分类整合，为未来的迁移学习和数据偏移研究提供了参考。

Jun, 2021

关于超出分布泛化的理论框架

本文第一次尝试对OOD问题的可学习性和扩张函数进行严格和量化的定义，并引入了一个新的扩张函数概念来量化不变特征的方差程度，进而证明了OOD泛化误差界，实验证明我们的模型选择标准相比基线有显著优势。

Jun, 2021

面向外部分布泛化：一项调查

该研究论文系统而全面地讨论了Out-of-Distribution generalization问题，其中包括它的定义、方法论、评估以及对未来的启示和发展方向，以及包括无监督表示学习在内的现有方法。

Aug, 2021

NAS-OoD: 面向外分布泛化的神经架构搜索

本文提出了针对Out-of-Distribution通用性的NAS（NN架构搜索）算法，通过数据生成器进行程度上相对稳健的搜索，并通过对不同神经架构计算出的损失最大化合成Out-of-Distribution数据来使神经架构与数据生成器在端到端方式下共同优化，实现了对于不同分布的稳健性和精度优化。在各种Out-of-Distribution通用性基准测试和行业实际数据集上均取得了良好的性能。

Sep, 2021

探索特征学习在越界泛化中的作用

通过理论研究发现，EMR本质上学习了误差特征和不变特征，并且在EMR预训练期间学习的特征质量显着影响了最终的OOD性能。为了解决这个问题，我们提出了特征增强训练（FAT），通过保留已经学习到的特征并增加新的特征来强制模型学习所有有用的特征，并在不同子集的训练数据上执行保留和增强操作。广泛的实验表明，当应用于各种目标时，FAT有效地学习更丰富的特征并持续改善OOD性能。

Apr, 2023

关于外分布泛化评估的调研

机器学习模型在非独立同分布的数据分布下表现出可疑的风险，因此需要发展算法来评估和改善模型的泛化能力以及处理分布变化的能力。本文综述了现有的非独立同分布泛化评估的研究，将其划分为三个范式：非独立同分布性能测试、非独立同分布性能预测和非独立同分布内在特性表征，并简要讨论了预训练模型的非独立同分布评价。最后，提出了未来研究的几个有前景的方向。

Mar, 2024

通过锐度实现鲁棒的离分布泛化界限

我们研究了模型的锐度对其在领域转移中对数据变化的容忍度的影响，并提出基于锐度的领域外泛化界限，通过考虑鲁棒性，得出比非鲁棒性保证更紧的界限。

Mar, 2024

离群数据：对抗样本的熟悉——综述

深度神经网络在现实应用中会遇到来自分布失真和对抗性攻击的数据，本综述聚焦于这两个领域的交叉研究，探讨如何通过鲁棒的分布失真检测和统一的鲁棒性进行对抗性攻击和对分布失真数据的健壮处理。

Apr, 2024