CVPRAug, 2017

Noisy Softmax：通过推迟早期 Softmax 饱和来提高 DCNN 的泛化能力

PDF
TL;DR本研究提出 Noisy Softmax 方法来解决 CNN 中 softmax 的饱和问题，通过注入退火噪声来推迟 softmax 的饱和，进一步带来连续的梯度传播以鼓励 SGD 求解器更具探索性，并提高 CNN 模型的泛化能力。实验证明这种方法在许多任务中都有很好的优化效果，并在几个流行的基准数据集上取得了最先进的或具有竞争力的结果。
softmaxsgdcnnnoisy softmaxgeneralization
发现论文，激发创造
  • 嘈杂的激活函数

    通过注入适当的噪声来解决神经网络中激活函数饱和行为带来的训练困难，并实现优化过程的探索边缘及难优化目标的最优解。

    Mar, 2016

  • SmoothOut: 消除深度学习中的尖峰最小值以提高泛化能力

    本研究提出了 SmoothOut 框架，通过注入噪声来平滑深度神经网络中的锐利极小值，从而提高了广义泛化性能。在实验中，SmoothOut 和 AdaSmoothOut 在小批量和大批量训练中均稳定提高了广义化能力。

    May, 2018

  • 通过噪声使深度神经网络规则化：解释和优化

    通过多次噪声注入来提高泛化性能使得深度神经网络可以更好地防止过拟合，本文提出了一种使用随机梯度下降迭代中每个训练样本的多个噪声样本来实现更紧密下界的技术，并在几个计算机视觉应用中展示了其优越性。

    Oct, 2017

  • 卷积神经网络大边界 Softmax 损失

    本文提出了 L-Softmax loss 作为一种广义的大边际 softmax（L-Softmax）损失函数，可以显式地鼓励所学特征的类内紧密性和类间可分性，并且能够调整想要的边际并避免过拟合，并在四个基准数据集上进行了广泛实验，结果表明使用 L-Softmax 且深度学习的特征更具有区分度，从而大大提高了各种视觉分类和验证任务的性能。

    Dec, 2016

  • 含噪声 SGD 中的隐式偏差：与差分隐私训练的应用

    使用小批量随机梯度下降（SGD）训练深度神经网络（DNNs）相对于大批量训练具有卓越的测试性能。这种随机梯度下降的特定噪声结构被认为是导致这种隐式偏差的原因。使用差分隐私（DP）确保 DNN 的训练时，DP-SGD 会向截断梯度添加高斯噪声。然而，大批量训练仍然导致显著的性能下降，这构成了一个重要的挑战，因为强 DP 保证需要使用大规模批次。我们首先展示这种现象也适用于无噪声 SGD（无截断的 DP-SGD），表明随机性（而不是截断）是这种隐式偏差的原因，即使加入了额外的各向同性高斯噪声。我们在线性最小二乘和对角线线性网络设置中理论上分析了连续版本的无噪声 SGD 所得到的解，并揭示了隐式偏差确实被额外的噪声放大。因此，大批量 DP-SGD 训练的性能问题根源于 SGD 的相同潜在原则，为大批量训练策略的潜在改进提供了希望。

    Feb, 2024

  • 理解 Softmax 的置信度和不确定性

    本研究探讨神经网络在预测远离训练数据分布的数据时，未能增加其不确定性的现象，并找出了两种隐含的偏见，从而鼓励 softmax 置信度与认识不确定性相关，并发现预训练 / 微调网络可以减少训练数据和超出分布数据之间的重叠。

    Jun, 2021

  • 使用 Dropout 正则化从嘈杂标签中学习深度网络

    该篇论文提出了一种纠正深度神经网络中标签不准确的技术：通过增加一个噪声模型的 softmax 层，采用端到端的随机梯度下降来优化网络以及噪声模型，借助 dropout 正则化防止噪声模型过于简单。在 CIFAR-10 和 MNIST 数据集上的数值实验显示，该 dropout 技术优于最先进的方法。

    May, 2017

  • 图像分类的组合软间隔 softmax 损失

    提出了一种新的损失函数，EM-Softmax，用于训练 CNN 模型的分类任务，以解决 softmax loss 在特征区分度和分类器弱点方面的局限性，并使用 Hilbert-Schmidt 独立性准则构建弱分类器的集合，通过实验验证其优于当前状态下的 softmax loss 和其他一些算法的性能。

    May, 2018

  • 通过后续逻辑归一化和温度缩放改善深度神经网络的选择分类表现

    本文介绍了一种简单高效的后验置信度估计器 - $p$-NormSoftmax，它可以大幅提高预训练模型的选择性分类性能，并在实验中证明了此方法的有效性。

    May, 2023

  • 通过对抗性 Softmax 近似进行极值分类

    本文提出一种简单的训练方法，通过从模仿数据分布的对抗模型中绘制负样本来大大增强梯度信号，以实现极端分类的高效训练，并在大规模数据集上实现了训练时间相对于几个竞争基线的数量级的减少。

    Feb, 2020