ICCVFeb, 2021

低曲率激活减少对抗训练中的过拟合

PDF
TL;DR本文研究在对抗训练中如何选择合适的激活函数，发现使用具有低曲率值的激活函数可以有效减小一般化误差，包括标准误差和稳健误差，并且这种现象适用于可微的平滑激活函数和不可微的非平滑激活函数。此外，对于具有低曲率的激活函数，没有出现模型的双下降现象。
发现论文，激发创造
  • 激活函数对超参数化神经网络训练的影响

    研究论文探讨了激活函数对过度参数化神经网络训练的影响，指出了平滑的激活函数在训练中的优势和尺寸较小的数据维度可能导致训练速度变慢的问题，并讨论了这些结果的应用和推广。

    Aug, 2019

  • 曲率正则化带来的鲁棒性及其相反情况

    本文研究了对抗训练对分类景观和决策边界几何形态的影响，展示了对抗训练导致的输入空间曲率减少及网络更 “线性” 行为的结果。我们提出一个直接最小化损失面曲率的新的规则化方法，并提供了理论上的证据表明大鲁棒性与小曲率之间存在强关联。

    Nov, 2018

  • 神经网络激活函数的经验损失景观分析

    此研究对与神经网络有关的损失景观进行了实证调查，发现修正线性单元产生最凸的损失景观，而指数线性单元产生最不平坦的损失景观，且表现出优越的泛化性能。

    Jun, 2023

  • 稀疏实验数据预测建模的自适应激活函数

    本研究旨在通过研究两种类型的自适应激活函数来填补理解有限数据情景下可变激活函数对分类准确性和预测不确定性的影响的重要空白。研究结果表明，具有个体训练参数的自适应激活函数（如 ELU 和 Softplus）能够产生准确且自信的预测模型，优于固定形状激活函数和在隐藏层中使用相同可训练激活函数的不太灵活的方法。因此，该研究提供了在科学和工程问题中设计自适应神经网络的简洁方法。

    Feb, 2024

  • 超参数对抗训练：克服维数灾难的一种分析

    采用 ReLU 激活函数和多项式宽度网络，在自然条件下实现对抗性训练的收敛理论，且证明了近似阶跃函数的 ReLU 网络有独立兴趣。

    Feb, 2020

  • 平滑对抗训练

    通过仔细的研究我们提出了一种新的平滑对抗训练方法，其中我们用其平滑逼近替代了 ReLU 激活函数以增强对抗训练的鲁棒性，并且相比于传统方法，该方法在不引入额外计算成本的情况下，能够显著提高模型的鲁棒性，同时保持模型的准确率。

    Jun, 2020

  • 末隐藏层激活的非合理有效性对于对抗性稳健性的影响

    研究了在输出层使用高温度值的激活函数对于防御基于梯度的对抗攻击的效果，并在 MNIST 数据集上实验验证了其方式可以显著提高对抗攻击的鲁棒性。

    Feb, 2022

  • 通过凸优化对两层多项式和 ReLU 激活网络进行对抗训练

    训练神经网络，使其对抗性攻击具有鲁棒性，特别是在采用过度参数化的模型进行安全关键设置时，仍然是深度学习中的一个重要问题。

    May, 2024

  • 学习激活函数以提高深度神经网络性能

    使用自适应激活函数，设计了一种用于改进深层神经网络架构的分段线性激活函数，并在 CIFAR-10 等数据集上取得了最先进的表现。

    Dec, 2014

  • 发现参数激活函数

    本文提出了一种使用进化搜索和梯度下降优化参数的方法来自动定制激活函数，实现对深度学习网络性能的可靠优化，验证结果表明该方法可以用作新任务的自动优化步骤。

    Jun, 2020