重新审视随机参数扰动以有效地提升泛化能力

Mar, 2024

重新审视随机参数扰动以有效地提升泛化能力

Revisiting Random Weight Perturbation for Efficiently Improving Generalization

Tao Li, Qinghua Tao, Weihao Yan, Zehao Lei, Yingwen Wu...

TL;DR通过对随机权重扰动的目标进行最小化以提高泛化能力的研究表明，改进深度神经网络（DNNs）的泛化能力是机器学习中的一个基本挑战。通过两个分支方法提出了分别由锋利度感知最小化（SAM）和随机权重扰动（RWP）引导的方法，通过对最差情况邻域损失进行最小化来改进泛化能力。然而，RWP 在计算上具有优势，并在数学基础上与 AWP 密切相关，但其实证效果始终落后于 AWP。本文重访 RWP 的使用方式，并从两个角度提出改进策略：i）泛化和收敛性之间的权衡，ii）随机扰动生成。通过大量实验评估，我们证明了我们增强的 RWP 方法在提升泛化能力方面具有更高的效率，特别是在大规模问题上，并且在性能方面与 SAM 相当，甚至更优越。

Abstract

Improving the generalization ability of modern deep neural networks (DNNs) is a fundamental challenge in machine learning. Two branches of methods have been proposed to seek flat minima and improve →

deep neural networks sharpness-aware minimization adversarial weight perturbation random weight perturbation generalization

发现论文，激发创造

对抗性权重扰动提高图神经网络的泛化性能

该论文研究了 Adversarial Weight Perturbation 在图形数据上的应用及其与局部最小值和泛化之间的联系。结果表明，通过该方法正则化图神经网络能够提高自然和鲁棒泛化能力。

Dec, 2022

动态调整权重的锐度感知最小化

本研究提出了 delta-SAM 算法来提高深度神经网络的泛化性能，通过动态重新赋权在每个 batch 中实现更强的对抗权重扰动以逼近更强的单实例扰动。

Dec, 2021

对抗性权重扰动有助于稳健泛化

本文研究了通过对抗性样本训练神经网络的鲁棒性问题，提出了通过实现加权损失对抗扰动机制进行对抗性训练的方案，从而解决了加权损失在以往对抗性训练中的不足。

Apr, 2020

锐度感知最小化的再探：锐度加权作为正则化项

本文介绍了一种更通用的方法 WSAM 来提高神经网络的泛化能力，该方法结合了 Sharpness-Aware Minimization 的优点作为正则化项，并通过 PAC 和 Bayes-PAC 技术证明了其泛化上界。在公共数据集上的实验表明，WSAM 实现了泛化能力的提高，或者至少与原始优化器 SAM 及其变体相比具有高竞争力。

May, 2023

通过 Taylor 展开的随机对抗训练

在此研究中，通过将随机噪声添加到确定性权重中，基于 Taylor 展开设计了一种新的对抗训练方法，可以调和抗干扰性和准确性之间的权衡，同时提高两者的表现。

Mar, 2023

增强尖锐度感知最小化：一种稀疏扰动方法

本文介绍了 Sparse SAM 的有效训练方案，通过使用二进制掩码获取稀疏掩码，基于 Fisher 信息和动态稀疏训练提供了两种解决方案，理论上证明了 Sparse SAM 可以以相同的速度收敛，既有潜力加速训练，又可以有效平滑损失地形。

Oct, 2022

通过对抗性权重掩码进行单次神经后门消除

本研究提出 Adversarial Weight Masking（AWM）方法解决神经后门威胁，通过对训练数据注入触发数据样本，对敏感权重做 (软) 屏蔽，实验结果表明该方法优于现有技术提升了神经后门清除效果。

Jul, 2022

通过敌对模型扰动对神经网络进行规则化

提出了一种基于对经验风险中扁平局部最小值理解的正则化方法 —— 对抗模型扰动 (AMP)，该方法通过最小化 AMP 损失而非直接最小化经验风险，可帮助减轻过度拟合和改善泛化，并已在各种现代深层架构上得到广泛验证。

Oct, 2020

平坦极小值优化器何时有效？

通过比较基于平坦极小点优化器的损失曲面和在计算机视觉、自然语言处理和图表示学习任务的广泛基准测试中，我们发现了一些令人惊讶的发现，希望这能帮助研究人员进一步改进深度学习优化器，并帮助实践者为其问题选择正确的优化器。

Feb, 2022

稀疏扰动锐度感知极小化优化器的系统研究

本文提出一种高效的 Sparse SAM 训练 scheme 来有效减少训练中的计算量，以达到平滑损失函数的目标，并提供了基于 Fisher information 和 dynamic sparse training 的两种不同的稀疏 mask 解决方案来实现稀疏干扰，理论证明了与 SAM 相同的收敛速度和有效性，并在 CIFAR 和 ImageNet-1K 上的实验证明了与 SAM 相比具有更好的效率和表现。

Jun, 2023