Oct, 2021
对抗鲁棒性的激活函数参数化
Parameterizing Activation Functions for Adversarial Robustness
Sihui Dai, Saeed Mahloujifar, Prateek Mittal
TL;DR通过采用可学习的参数激活函数(PAFs),我们研究了使用 PSSiLU 以提高加性训练鲁棒性的影响。我们发现,PAFs 优化了影响鲁棒性的激活函数形状属性,而且仅引入 1-2 个可学习参数的光滑 PAFs 可以显著地提高鲁棒性。