EMNLPNov, 2022

鲁棒早鸟票高效对抗训练

PDF
TL;DR本研究通过优化对抗训练过程，发现在早期训练阶段（通常为 0.15~0.3 个时期），连通性模式可以提高预训练语言模型（PLMs）的鲁棒性。基于此发现，作者提出了一种高效的对抗训练方法，利用稀疏结构在早期阶段寻找强韧的 “早期票”。实验结果表明，该方法可以在保持鲁棒性水平不变的情况下，实现 7~13 倍的训练加速。
adversarial traininglanguage modelsrobustnessstructured sparsityearly-bird tickets
发现论文，激发创造
  • 早期 Transformer：通过提前中签抽奖实现 Transformer 模型的高效训练

    通过组合迭代剪枝、遮蔽距离计算和选择性重训练等方法，本研究调查并验证了早鸟票假设对 Transformer 模型训练效率的适用性。实验结果表明，在 Transformer 模型的训练或微调的前几个周期内，可以持续发现早鸟票，并且在显著减少资源占用的情况下，可以获得与未剪枝模型相媲美甚至更高的准确率。此外，对比分析突显了早鸟票现象在不同 Transformer 模型和任务中的普适性，为 Transformer 模型的高效训练策略的发展做出了贡献。通过利用早鸟票，从业者可以加速自然语言处理和计算机视觉应用的进展，同时减少 Transformer 模型训练的计算负担。

    May, 2024

  • 提前获取优惠票：走向更高效的深度神经网络训练

    本文提出了一种发现神经网络的优胜子网络（winning tickets）的方法 ——early-bird tickets，可以利用低成本的训练方案（如早停训练和低精度训练）在较早的训练阶段发现，并通过提出的 mask distance 度量快速识别，最终实现了基于 early-bird tickets 的高效训练方法，可以在追求高精度的情况下实现高性能且更低能耗的深度神经网络训练，相关代码公开可用于链接中。

    Sep, 2019

  • EarlyBERT: 早鸟抽奖票优化 BERT 训练

    本篇论文提出了 EarlyBERT，这是一种通用的计算高效的训练算法，可用于大规模语言模型的预训练和微调，通过对自注意和全连接子层进行精简，第一次在 BERT 训练的早期阶段中发现了结构优质的 winning tickets，实验结果表明，与标准 BERT 相比，EarlyBERT 能够在 35-45％的训练时间内实现相当的性能。

    Dec, 2020

  • 预训练语言模型的强大抽奖票

    本文提出了一种基于学习二进制权重掩码的新方法，用于识别原始 PLM 中隐藏的强健 Ticket，并设计了一个对抗性损失目标来引导寻找强健的 Ticket，并确保票据在准确性和鲁棒性方面表现良好。

    Nov, 2022

  • 鲁棒性强的模型参数可获更好迁移能力：在迁移学习中绘制更多可迁移子网络

    该研究提出了一种新的迁移学习管道，可以通过具有适当诱导的对抗鲁棒性的子网络来实现更好的迁移能力，从而在各种下游任务和稀疏性模式中实现增强的准确性和稀疏性 - 精度权衡，进一步丰富了彩票票假设。

    Apr, 2023

  • ∞范数的健壮性与更多因素：高效对抗训练技术的实现

    本篇论文阐述了对于神经网络存在攻击的情况下，如何通过对抗训练和小样本训练方法，提高模型的鲁棒性。

    Dec, 2021

  • 对抗性训练对语言模型的稳健性和泛化能力的影响

    本文比较了几种对抗训练语言模型的不同方法，包括预训练数据增强，输入空间扰动和嵌入空间扰动，发现输入空间扰动或预训练数据增强可以提高鲁棒性，而使用嵌入空间扰动可以显著提高泛化性。通过神经元的语言相关性分析表明，泛化性的提高是由于 “更加专业化” 的神经元。这是第一篇对对抗训练语言模型生成不同对抗示例方法进行深度定性分析的工作。

    Nov, 2022

  • 实用的彩票票假设在对抗训练中的应用

    本文提出彩票票据假说，展示了深度神经网络中存在的可训练子网络，这些子网络在相同的训练步骤下表现不亚于原始模型。研究表明存在某些子网络能够更快地收敛，我们的实验表明这些子网络在各种模型结构和超参数的限制条件下的一致存在性，此外，这些子网络能够在对抗性训练中将总时间缩短至最新技术的 49％。

    Mar, 2020

  • 对抗训练在对抗鲁棒性方面的最新进展

    该研究论文系统地回顾了针对深度学习模型的对抗训练在对抗鲁棒性方面的最新进展，并从三个视角讨论了对抗训练中的泛化问题，同时指出了尚未完全解决的挑战并提出潜在的未来研究方向。

    Feb, 2021

  • 对抗鲁棒性：从自监督预训练到微调

    本研究将对抗训练引入自监督学习中，提出了一种通用的具有强健性的预训练模型，可以在提高最终模型的强健性和节省计算成本方面，对后续的微调任务有两种作用。我们进行了大量实验，证明了所提出的框架与传统的对抗训练基线相比，在 CIFAR-10 数据集上可以获得大幅的性能提升。同时，我们发现不同的自监督预训练模型具有不同的对抗性漏洞，并提出了一种集成策略来提高其强健性。

    Mar, 2020