Oct, 2023

在不同程度的分布偏移下，鲁棒性可能比我们认为的更脆弱

PDF
TL;DR我们的研究探讨了分布偏移程度的更加微妙的评估设置，我们发现模型的稳健性在不同程度的分布偏移下可能相当脆弱和不一致，因此在从有限范围下的评估中得出结论时应更加谨慎。此外，我们观察到大规模预训练模型（如 CLIP）对于新颖下游任务的微小分布偏移也很敏感。这表明，尽管预训练表示可以帮助提高内分布性能，但在某些 OOD 场景中可能对泛化性能产生最小甚至负面影响，如果不正确使用。鉴于这些发现，我们鼓励未来的研究在可能的情况下进行更广泛范围的评估。
out-of-distribution generalizationdistribution shiftsmodel robustnesspre-trained modelsevaluation
发现论文，激发创造
  • OODRobustBench：基于分布偏移的对抗鲁棒性评估与分析

    现有研究在提高对抗鲁棒性方面取得了很大进展，但通常只在与训练数据相同分布的数据上进行测试，即内分布（ID）测试。然而，如何在输入分布转移（即出分布（OOD）测试）下实现这种鲁棒性的泛化仍不清楚。因此，我们提出了一个名为 OODRobustBench 的基准来全面评估 OOD 对抗鲁棒性，使用 23 种数据集级的转移（即输入分布中的自然转移）和 6 种威胁级的转移（即未知的对抗威胁模型）。OODRobustBench 用于评估 706 个稳健模型，使用 60.7K 个对抗性评估。这个大规模分析显示：1）对抗鲁棒性在 OOD 泛化问题上存在严重问题；2）ID 鲁棒性与 OOD 鲁棒性在许多分布转移下呈正线性相关，这使得可以从 ID 鲁棒性预测 OOD 鲁棒性。基于这一点，我们能够预测现有强化训练方案的 OOD 鲁棒性的上限。研究结果表明，实现 OOD 鲁棒性需要设计超出传统方法的新方法。最后，我们发现额外数据、数据增强、先进的模型架构和特定的正则化方法可以提高 OOD 鲁棒性。值得注意的是，与基准相比，发现的训练方案在威胁转移下表现出明显更高的鲁棒性，同时保持高的 ID 鲁棒性，为多攻击和未知攻击的鲁棒性提供新的有希望的解决方案。

    Oct, 2023

  • 预训练转换器提高超出分布鲁棒性

    本文通过构建具有现实分布变化的新的鲁棒性基准，系统地测量了七个 NLP 数据集的预训练 Transformers 的 OOD 泛化能力。研究结果表明，Pretrained Transformers 的性能下降显著较小，在检测异常或 OOD 示例方面更加有效，同时发现更多样化的预训练数据可以增强模型的鲁棒性。

    Apr, 2020

  • 关于外分布泛化评估的调研

    机器学习模型在非独立同分布的数据分布下表现出可疑的风险，因此需要发展算法来评估和改善模型的泛化能力以及处理分布变化的能力。本文综述了现有的非独立同分布泛化评估的研究，将其划分为三个范式：非独立同分布性能测试、非独立同分布性能预测和非独立同分布内在特性表征，并简要讨论了预训练模型的非独立同分布评价。最后，提出了未来研究的几个有前景的方向。

    Mar, 2024

  • 自然语言处理中的分布外鲁棒性再探：基准、分析和 LLMs 评估

    本文重新审视了自然语言处理领域中关于评估 out-of-distribution 鲁棒性的相关研究，并提出了一个基准套件（BOSS），通过其中包含的 5 项任务和 20 个数据集来评估 pre-trained large language models 和 5 种经典方法在分布转移时的性能，结果发现在 ID 示例中，微调特定领域模型的性能明显优于 LLMs，在 OOD 示例中，优先考虑具有上下文学习的 LLMs 结果更好，但大规模的微调和大型 LLMs 都面临着有效解决下游任务的挑战。

    Jun, 2023

  • 分布鲁棒模型的元分析

    通过 meta-analysis，我们发现具有良好 OOD 鲁棒性的最佳表现的模型都具有四个共同点，即视觉 - 语言预训练具有巨大的潜力。

    Jun, 2022

  • OoD-Bench: 量化和理解外分布泛化的两个维度

    通过对分布偏移数据的分类和对其相关算法的大量实验比较，对已有数据集和算法进行了分类整合，为未来的迁移学习和数据偏移研究提供了参考。

    Jun, 2021

  • 基于基础模型的医学图像分割的域外鲁棒性

    构建一个强健的模型，能够在分布转变的情况下有效地泛化到测试样本，在医学影像领域仍然是一个重要的挑战。本研究通过对基于自然图像和文本数据进行预训练的视觉和语言基础模型进行 fine-tuning 后的鲁棒性评估，证明了基于基础模型的优越性。此外，研究还开发了一种新的冻结模型的贝叶斯不确定性估计方法，并将其用作衡量模型在超出分布数据上性能的指标，对于实际应用具有显著的益处。实验不仅揭示了在自然图像应用中常用的线上准确性和线上一致性指标的局限性，还强调了引入贝叶斯不确定性的潜力，特别是低不确定性预测通常具有更高的超出分布性能。

    Nov, 2023

  • 通过锐度实现鲁棒的离分布泛化界限

    我们研究了模型的锐度对其在领域转移中对数据变化的容忍度的影响，并提出基于锐度的领域外泛化界限，通过考虑鲁棒性，得出比非鲁棒性保证更紧的界限。

    Mar, 2024

  • 图形在分布偏移下的泛化

    通过引入图学习不变领域生成（GLIDER）的新框架，本文在节点级别的属性分布和拓扑结构分布的共同分布转变的情境下，实现了优于基准方法的节点级别 OOD 广义化跨域模型。

    Mar, 2024

  • 深度度量学习中针对带外分布偏移的泛化特征描述

    该研究提出了一个称为 ooDML 的基准测试，旨在评估 Deep Metric Learning 算法在面对不同程度和难度的数据分布转移时的泛化性能，研究发现，在挑战性更多样的训练测试分布转移情况下，部分方法可以更好地保持性能，最后，提出 few-shot DML 方法以有效地提高泛化性能。

    Jul, 2021