Aug, 2022

对抗训练的稳健性从预训练到下游任务的迁移

PDF
TL;DR在机器学习中，预训练模型对于下游任务的使用已经成为一种标准方法，虽然其实证明了效果提升，但是预训练模型的鲁棒性如何传递到下游任务中还未被充分理解。我们证明了预测器的鲁棒性可以通过其基础表示的鲁棒性来界定，与预训练协议无关。综上所述，我们的结果明确了可靠性表现在部署时所需要的表示函数的要求。
pre-trained modelsdownstream tasksrobustnesspredictorrepresentation function
发现论文，激发创造
  • 面向最坏情况下游适应的任务鲁棒预训练

    本文提出了一种新的预训练模型方法，使其在从任务中保持鲁棒性，既在自然语言处理数据集上，又在计算机视觉数据集上都具有较好的表现。

    Jun, 2023

  • 预训练中通过对抗训练获得更好的表示：理论视角

    大规模深度学习中，预训练生成了下游任务的通用表示。现有文献经验性地观察到下游任务可以继承预训练模型的对抗鲁棒性，并提出了理论上的证明以揭示特征净化在预训练模型和下游任务之间的连接，在两层神经网络中展现出重要作用。通过对抗训练，每个隐藏节点趋向于选择一个或少量特征，而未经对抗训练的隐藏节点容易受到攻击。这一观察结果适用于监督预训练和对比学习，并且通过净化节点，清洁训练就足以实现下游任务的对抗鲁棒性。

    Jan, 2024

  • 对抗鲁棒性 ImageNet 模型是否具有更好的迁移能力？

    本研究证明，相较于标准预训练模型，鲁棒性较强的预训练模型在转移学习中表现更佳。通过研究图像分类任务，发现鲁棒性较强的 ImageNet 分类器在一系列标准下游任务中得到了更高的准确性。

    Jul, 2020

  • 对抗鲁棒性：从自监督预训练到微调

    本研究将对抗训练引入自监督学习中，提出了一种通用的具有强健性的预训练模型，可以在提高最终模型的强健性和节省计算成本方面，对后续的微调任务有两种作用。我们进行了大量实验，证明了所提出的框架与传统的对抗训练基线相比，在 CIFAR-10 数据集上可以获得大幅的性能提升。同时，我们发现不同的自监督预训练模型具有不同的对抗性漏洞，并提出了一种集成策略来提高其强健性。

    Mar, 2020

  • 关于预训练数据多样性与微调鲁棒性的关联

    预训练对深度学习中的模型性能具有广泛应用，我们的工作旨在理解该训练策略对下游模型的泛化特性的影响。我们发现，影响下游有效鲁棒性的主要因素是数据数量，而其他因素的影响有限。

    Jul, 2023

  • 表示可靠性及其对下游任务的影响

    提出一种基于邻域一致性的集成方法，用于估计自监督预训练模型的表征可靠性，实验结果表明该方法能够高精度地预测表征可靠性。

    May, 2023

  • 透过 Adapter 实现基于预训练语言模型的强大迁移学习

    本文提出了一种简单而有效的适配器方法来提高预训练模型在下游任务的稳定性和抗攻击性。该方法为预训练模型的每层插入小型的瓶颈层，然后在下游任务数据上固定预训练层并训练适配器层，通过在任务特定的无监督训练和监督训练 (e.g., 分类、序列标注) 的过程中，提高了转移学习的性能。

    Aug, 2021

  • ImageNet 鲁棒性能是否能够传递至下游任务？

    当前 ImageNet 的准确率已接近其上限，研究界越来越关注分布偏移下的鲁棒准确率。本论文主要关注的是如何提高神经网络的鲁棒性，并考虑使用预训练的 ImageNet 模型在目标检测、语义分割、图像分类等不同领域的跨域应用。研究表明，对于目标检测和语义分割等任务，Vanilla Swin Transformer 的鲁棒性相比训练过 ImageNet 的卷积神经网络更强。但对于 CIFAR10 分类任务，当前的鲁棒化技术存在局限性。因此，建立更强大的网络体系结构，加强模型在不同领域之间的迁移学习，是提高模型鲁棒性的重要方向。

    Apr, 2022

  • 通过微观偏差 - 方差分析理解最佳特征转移

    在转移学习范式下，该研究探索了使用预训练特征转换来优化下游性能的简单线性模型，并发现了通过最小化沿着一组下游任务的平均渐近下游风险来确定最佳预先训练表示的相对重要性以及从偏差 - 方差角度对它们的贡献的特征和结构的学习。

    Apr, 2024

  • 探索随机平滑的可转移性

    我们提出了一种用于预训练可认证的强健模型的方法，通过显著扩展预训练数据分布，在下游任务的微调中取得显著效益。我们通过对混合干净图像和各种噪声图像进行预训练，发现即使仅在干净图像上进行微调，也能取得惊人的认证准确率。此外，我们的方法仅需一个模型，即可处理各种噪声水平，大大降低了与以往使用多个模型的方法相比的计算成本。尽管仅使用一个模型，我们的方法仍可以得出与现有的多模型方法相当甚至更好的结果。

    Dec, 2023