gradient norm | BriefGPT - AI 论文速递

关键词gradient norm

搜索结果 - 9

通过达到平坦的局部最大值提高对抗迁移性
本文提出一种新方法来生成攻击模型的对抗样本，该方法结合了平稳局部区域和梯度规范化来获得更好的迁移性，实验结果在 ImageNet 兼容数据集上表明此方法比现有的攻击方法能够更好地提高模型的迁移性。
PDFa year ago
一枚硬币的两面：未调节的 SGD 的局限性和自适应方法的威力
本文探讨了随机梯度下降法与多项式衰减步长之间的关系，并证明无调谐的随机梯度下降法具有渐进最优的收敛速率，但需要面临指数级的平滑度常数；而规范化 SGD、AMSGrad 和 AdaGrad 方法可以在不知道平滑度参数和随机梯度边界条件的情况下
PDFa year ago
ICML惩罚梯度范数以有效提高深度学习的推广性能
本文提出通过附加惩罚损失函数的梯度范数来提高深度神经网络的泛化性能，使用我们的方法可以改善不同数据集上的各种模型的泛化性能，并且最佳情况下可在这些任务上提供新的最先进性能。
PDF2 years ago
ICLR在 CIFAR-10 和 CIFAR-100 上提高的确定性 L2 鲁棒性
通过放宽网络最后一层的正交化约束，证明了 1-Lipschitz CNN 的鲁棒性，此外还引入了新的梯度规范化激活函数和证明规则，有效提高了 CIFAR 数据集上的准确率。
PDF3 years ago
Metropolized Hamiltonian Monte Carlo 的对数平滑梯度集中性与更紧致的运行时
通过基于梯度范式的均值紧密集中证明了 Metropolized Hamiltonian Monte Carlo 算法在从强 logconcave 分布中进行采样方面的状态最前沿，通过介绍不同于先前文献的限制和新的降低技术，我们提出了高精度混
PDF4 years ago
规范化保存：为什么残差网络可以变得非常深？
这份研究分析了 ResNet 的跳跃连接的效应，并提出了新理论结果，证明残差块中的跳跃连接方便保留梯度的范数，并导致稳定的反向传播，这是从优化的角度来看是可取的。研究还提出了一种新方法，Procrustes ResNets，来优化 ResN
PDF6 years ago
优化一阶方法降低平滑凸函数的梯度效率
本文采用性能评估问题方法，优化了平滑凸优化的一阶方法的步长系数，以使得梯度范数减少的效率最大化。结果表明，该方法在大维度平滑凸优化问题下，具有最优的最坏梯度界限，且具有类似于优化梯度方法的计算高效形式。
PDF6 years ago
ICLRRandomOut：使用卷积梯度范数来修复卷积滤波器
本研究提出了一种名为 RandomOut 的方法，通过使用梯度范数评估卷积滤波器对误差的影响并替换对预测影响较小的特定卷积滤波器，从而在不增加网络大小的情况下增加探索的滤波器数量，从而提高了 28x28 Inception-V3 模型的准确
PDF8 years ago
高效的逐例梯度计算
文中提供了一种有效的技术来计算神经网络参数相对于损失函数的梯度范数。该梯度范数可以高效地针对每个示例进行计算。
PDF9 years ago