Dec, 2017

梯度规范化提高了判别模型的准确性

PDF
TL;DR本文发现梯度正规化可以在视觉任务中显著提高分类精度，特别是在训练数据较少的情况下。我们介绍了一种 Jacobian-based 的正规化方法，并在真实和合成数据上进行了实证研究，结果表明学习过程可以控制超出训练点的梯度，并产生良好的泛化能力。
发现论文，激发创造
  • 通过约束输入渐变来提高深度神经网络的对抗鲁棒性和可解释性

    本研究评估了不同防御机制对神经网络的有效性，发现使用输入梯度规则化训练的神经网络具有抵御小幅度扰动的鲁棒性，并且可以提高预测的可解释性。同时，对这种神经网络产生的误分类可以解释，并进一步讨论了深度神经网络中解释性和鲁棒性之间的关系。

    Nov, 2017

  • 具抗扰性的雅可比正则化学习

    为了确保可靠系统的稳定性，机器学习中的 Jacobian regularization 可以防止过拟合，并保证模型对于输入数据的污染具有鲁棒性。

    Aug, 2019

  • 选择性输入梯度正则化的雅可比范数用于改进和解释可行对抗防御

    本文提出了一种基于 Jacobian 规范和选择性输入梯度正则化（J-SIGR）的新方法，从 Jacobian 规范的线性化健壮性建议，并控制基于扰动的显著性图以模仿模型的可解释预测，这既实现了改进的防御又实现了 DNN 的高可解释性。

    Jul, 2022

  • 隐式梯度正则化

    本文研究了梯度下降算法在优化神经网络时的表现，发现梯度下降中的离散步骤隐含地通过惩罚大损失梯度轨迹的方式实现了模型的正则化，这种 “隐性梯度正则化” 导致梯度下降趋向于平坦的最小值，使解决方案对噪声参数扰动有很好的鲁棒性，这一理论有助于解决过拟合问题。

    Sep, 2020

  • 通过结构化梯度正则化进行对抗性鲁棒性训练

    本文提出了一种新的数据依赖性结构化梯度正则化器，旨在增加神经网络对抗扰动的鲁棒性，该正则化器可以从第一原理中导出。实验证据表明，结构化梯度正则化是对抗低水平信号污染攻击的有效一线防御。

    May, 2018

  • 利用雅可比正则化提高 DNN 对对抗攻击的鲁棒性

    该研究提出了一种基于 Frobenius 规范化 Jacobian 矩阵的网络后处理方法，以提高深度神经网络的鲁棒性，从而改善其对抗攻击的表现，同时对网络准确性的影响也很小。

    Mar, 2018

  • 正则化压缩神经网络的学习

    研究了深度神经网络的正则梯度下降算法，并通过量化约束集合的复杂度以及研究覆盖维度来探索正则化技术在加速训练、提高泛化性能以及学习更高效紧凑模型方面的优势。

    Feb, 2018

  • 超参数化神经网络中的隐式正则化

    本文通过引入梯度间隙偏差和梯度偏转等统计量，从理论和实证角度研究了内隐正则化在 ReLU 神经网络中的运作方式，结果表明通过随机初始化和随机梯度下降的方式有效地控制网络输出，使其在样本之间直线插值且负责度较低。

    Mar, 2019

  • 惩罚梯度范数以有效提高深度学习的推广性能

    本文提出通过附加惩罚损失函数的梯度范数来提高深度神经网络的泛化性能，使用我们的方法可以改善不同数据集上的各种模型的泛化性能，并且最佳情况下可在这些任务上提供新的最先进性能。

    Feb, 2022

  • 生成模型的判别性正则化

    本文探讨了分类器是否可以用于提高生成模型的质量，并提出了一种使用判别分类器的表示来增强生成模型的目标函数的方法。研究表明，用这种方法增强目标函数可以产生比标准变分自编码器更清晰、视觉质量更高的样本。

    Feb, 2016