通过多元化揭示 OOD 推广的关键组成部分

Dec, 2023

通过多元化揭示 OOD 推广的关键组成部分

Unraveling the Key Components of OOD Generalization via Diversification

Harold Benoit, Liangze Jiang, Andrei Atanov, Oğuzhan Fatih Kar, Mattia Rigotti...

TL;DR多样化方法对无标签数据的分布敏感，单纯多样化无法实现 OOD 泛化，学习算法的选择至关重要，将导致精度绝对下降 20％；选择最佳学习算法依赖于无标签数据，同时无标签数据也依赖于学习算法的选择。增加多样性假设数量不能解决这些问题。以上发现为了深入理解多样化方法的 OOD 泛化提供了关键设计因素，指导实践和研究。

Abstract

real-world datasets may contain multiple features that explain the training data equally well, i.e., learning any of them would lead to correct predictions on the training data. However, many of them can be spurious, i.e., lose their predictive power under a distribution shift and fail

real-world datasets diversification methods ood generalization learning algorithm unlabeled data

发现论文，激发创造

DIVERSIFY: 一种时间序列的离群检测和泛化的通用框架

这篇论文提出了 DIVERSIFY，一个用于时间序列的动态分布的离群检测和泛化的通用框架，通过结合已有的离群检测方法和直接利用分类输出来改善非平稳性引起的问题，理论和实验结果表明 DIVERSIFY 学习到了更广义的特征，并且明显优于其他基线模型。

Aug, 2023

关于超出分布泛化的理论框架

本文第一次尝试对 OOD 问题的可学习性和扩张函数进行严格和量化的定义，并引入了一个新的扩张函数概念来量化不变特征的方差程度，进而证明了 OOD 泛化误差界，实验证明我们的模型选择标准相比基线有显著优势。

Jun, 2021

面向外部分布泛化：一项调查

该研究论文系统而全面地讨论了 Out-of-Distribution generalization 问题，其中包括它的定义、方法论、评估以及对未来的启示和发展方向，以及包括无监督表示学习在内的现有方法。

Aug, 2021

关于外分布泛化评估的调研

机器学习模型在非独立同分布的数据分布下表现出可疑的风险，因此需要发展算法来评估和改善模型的泛化能力以及处理分布变化的能力。本文综述了现有的非独立同分布泛化评估的研究，将其划分为三个范式：非独立同分布性能测试、非独立同分布性能预测和非独立同分布内在特性表征，并简要讨论了预训练模型的非独立同分布评价。最后，提出了未来研究的几个有前景的方向。

Mar, 2024

过参数化对于超出分布之外的普适性的益处

研究了过参数化模型在 Out-of-Distribution 问题下的性能，发现模型容量的增加和模型集成有助于提高 OOD 推广能力。

Mar, 2024

规避简化偏差：训练多样化模型集发现具有更优越 OOC 普适性的解决方案

研究发现神经网络训练过程中存在简单性偏差，该偏差导致其缺乏鲁棒性，但该问题可通过不同方式训练来缓解，其中包括使用梯度对齐的惩罚项进行训练，以及在独立的模型选择阶段解决信息不足问题，此方法在视觉识别上获得了最佳结果。

May, 2021

学习可推广到分布外的模块化结构

本文提出一种针对机器学习系统中的 O.O.D. generalization 挑战的方法，通过训练鼓励模型仅保留在多个训练领域中被很好地重用的网络特征，结合两种互补的神经元级约束器和网络上的可微分二进制蒙版，提取模块化子网络以达到更好的 O.O.D. 性能。初步评估在两个基准数据集上证实了我们方法的优势。

Aug, 2022

探索特征学习在越界泛化中的作用

通过理论研究发现，EMR 本质上学习了误差特征和不变特征，并且在 EMR 预训练期间学习的特征质量显着影响了最终的 OOD 性能。为了解决这个问题，我们提出了特征增强训练（FAT），通过保留已经学习到的特征并增加新的特征来强制模型学习所有有用的特征，并在不同子集的训练数据上执行保留和增强操作。广泛的实验表明，当应用于各种目标时，FAT 有效地学习更丰富的特征并持续改善 OOD 性能。

Apr, 2023

图上的外域泛化：一份综述

我们综合调查了图形领域中的 ODD 概括率，并详细审查了最近在这个领域取得的进展，然后根据其在图形机器学习流水线中的位置，从数据、模型和学习策略等不同概念上将现有方法分为三类，并对每个类别进行了详细讨论，最后分享了我们对未来研究方向的看法。

Feb, 2022

离分布数据的价值

在本研究中，我们发现了一个反直觉的现象：在涉及目标任务的样本数量增加之前，由于少量的来自未知分布数据的样本，可以提高任务的泛化性能，但随着样本数量的增加，泛化误差达到阈值后会逐渐下降；我们采用合成数据集上的 Fisher's Linear Discriminant 和计算机视觉基准数据集（如 MNIST、CIFAR-10、CINIC-10、PACS 和 DomainNet）上的深度神经网络来证明这一现象；在我们知道哪些样本是未知分布的理想情况下，我们可以使用适当加权的目标和外部风险的目标函数来利用这些非单调趋势，但其实际效用有限，此外，当我们不知道哪些样本是未知分布时，数据增强、超参数优化和预训练等常用策略仍然无法保证目标泛化误差不会随着未知分布样本数量的增加而下降。

Aug, 2022