ACLApr, 2020

预训练转换器提高超出分布鲁棒性

PDF
TL;DR本文通过构建具有现实分布变化的新的鲁棒性基准，系统地测量了七个 NLP 数据集的预训练 Transformers 的 OOD 泛化能力。研究结果表明，Pretrained Transformers 的性能下降显著较小，在检测异常或 OOD 示例方面更加有效，同时发现更多样化的预训练数据可以增强模型的鲁棒性。
发现论文，激发创造
  • 预训练的转换器并不总是能提高健壮性

    对 10 种模型进行对比研究，发现在加入噪声数据的情况下，预训练 Transformer 模型比传统模型提供了更少的鲁棒性，在使用对抗过滤方法进行扩展后，虽然增加了泛化性，但在面对噪声数据时依然无法提供足够的鲁棒性。

    Oct, 2022

  • 在不同程度的分布偏移下，鲁棒性可能比我们认为的更脆弱

    我们的研究探讨了分布偏移程度的更加微妙的评估设置，我们发现模型的稳健性在不同程度的分布偏移下可能相当脆弱和不一致，因此在从有限范围下的评估中得出结论时应更加谨慎。此外，我们观察到大规模预训练模型（如 CLIP）对于新颖下游任务的微小分布偏移也很敏感。这表明，尽管预训练表示可以帮助提高内分布性能，但在某些 OOD 场景中可能对泛化性能产生最小甚至负面影响，如果不正确使用。鉴于这些发现，我们鼓励未来的研究在可能的情况下进行更广泛范围的评估。

    Oct, 2023

  • 预训练变换器的对比分布外检测

    本文提出了一种使用只有训练集数据的预训练 Transformer 进行无监督的离群检测方法，该方法使用对比度损失调整 Transformer。最终使用马哈拉诺比斯距离来检测异常数据，实验表明，本文方法的性能超过了基准线，并且更紧凑的表示方法是改进的基础。

    Apr, 2021

  • 通过对抗训练和预训练改进 OOD 泛化

    本文利用 Wasserstein 距离定义了 out-of-distribution（OOD）一般化，理论上证明对输入扰动具有鲁棒性的模型可以在 OOD 数据上一般化；在图像分类和自然语言理解任务上进行了实证验证，并进一步理论证明了在预训练和微调范式中，更具扰动输入鲁棒性的预训练模型可以更好地初始化在下游 OOD 数据的泛化，实验证明在经过微调后，这种通过对抗训练预训练的更好初始化的模型也有更好的 OOD 一般化。

    May, 2021

  • 自然语言处理中的分布外鲁棒性再探：基准、分析和 LLMs 评估

    本文重新审视了自然语言处理领域中关于评估 out-of-distribution 鲁棒性的相关研究，并提出了一个基准套件（BOSS），通过其中包含的 5 项任务和 20 个数据集来评估 pre-trained large language models 和 5 种经典方法在分布转移时的性能，结果发现在 ID 示例中，微调特定领域模型的性能明显优于 LLMs，在 OOD 示例中，优先考虑具有上下文学习的 LLMs 结果更好，但大规模的微调和大型 LLMs 都面临着有效解决下游任务的挑战。

    Jun, 2023

  • 分布鲁棒模型的元分析

    通过 meta-analysis，我们发现具有良好 OOD 鲁棒性的最佳表现的模型都具有四个共同点，即视觉 - 语言预训练具有巨大的潜力。

    Jun, 2022

  • 探索识别非分布极限

    该研究论文表明，大规模预训练的 transformers 网络可以显著提高深度神经网络在接近 out-of-distribution 检测上的性能，包括基于图像和基因组学数据的任务，并探索了利用少量样本进行 outlier exposure 及为该类任务提供名称信息的方法。

    Jun, 2021

  • 大型语言模型的超出分布检测能力如何？

    通过对大型语言模型进行实证研究，本文发现余弦距离的异常检测器表现出卓越的效力，优于其他异常检测器，并通过强调大型语言模型嵌入空间的各向同性特征，提供了对这一现象的有趣解释，进一步增强了我们对大型语言模型在检测异常数据方面的适应性和可靠性。

    Aug, 2023

  • OODRobustBench：基于分布偏移的对抗鲁棒性评估与分析

    现有研究在提高对抗鲁棒性方面取得了很大进展，但通常只在与训练数据相同分布的数据上进行测试，即内分布（ID）测试。然而，如何在输入分布转移（即出分布（OOD）测试）下实现这种鲁棒性的泛化仍不清楚。因此，我们提出了一个名为 OODRobustBench 的基准来全面评估 OOD 对抗鲁棒性，使用 23 种数据集级的转移（即输入分布中的自然转移）和 6 种威胁级的转移（即未知的对抗威胁模型）。OODRobustBench 用于评估 706 个稳健模型，使用 60.7K 个对抗性评估。这个大规模分析显示：1）对抗鲁棒性在 OOD 泛化问题上存在严重问题；2）ID 鲁棒性与 OOD 鲁棒性在许多分布转移下呈正线性相关，这使得可以从 ID 鲁棒性预测 OOD 鲁棒性。基于这一点，我们能够预测现有强化训练方案的 OOD 鲁棒性的上限。研究结果表明，实现 OOD 鲁棒性需要设计超出传统方法的新方法。最后，我们发现额外数据、数据增强、先进的模型架构和特定的正则化方法可以提高 OOD 鲁棒性。值得注意的是，与基准相比，发现的训练方案在威胁转移下表现出明显更高的鲁棒性，同时保持高的 ID 鲁棒性，为多攻击和未知攻击的鲁棒性提供新的有希望的解决方案。

    Oct, 2023

  • 基于基础模型的医学图像分割的域外鲁棒性

    构建一个强健的模型，能够在分布转变的情况下有效地泛化到测试样本，在医学影像领域仍然是一个重要的挑战。本研究通过对基于自然图像和文本数据进行预训练的视觉和语言基础模型进行 fine-tuning 后的鲁棒性评估，证明了基于基础模型的优越性。此外，研究还开发了一种新的冻结模型的贝叶斯不确定性估计方法，并将其用作衡量模型在超出分布数据上性能的指标，对于实际应用具有显著的益处。实验不仅揭示了在自然图像应用中常用的线上准确性和线上一致性指标的局限性，还强调了引入贝叶斯不确定性的潜力，特别是低不确定性预测通常具有更高的超出分布性能。

    Nov, 2023