ICMLMar, 2022

使用规模标准化实现差分隐私残差网络训练

PDF
TL;DR本研究提出通过添加 ScaleNorm 的简单架构调整方法，在残差网络中使用 Group Normalisation 来改善由 Differentially Private Stochastic Gradient Descent 训练的神经网络的精度和隐私保护之间的 trade-off，并在 CIFAR-10 中取得 82.5%（ε =8.0）的准确度。
发现论文，激发创造
  • 归一化层对深度神经网络差分隐私训练的影响

    本文研究了标准梯度下降算法的隐私保护版本 DPSGD 中归一化层的影响，证明了在带有噪声参数的深度神经网络中归一化层显著地影响着其效用，提出了一种新的方法将批归一化与 DPSGD 集成起来，以获得更好的效用 - 隐私权衡。

    Jun, 2020

  • 通过尺度解锁高精度差分隐私图像分类

    本文主要研究采用差分隐私保护方法进行深度学习的训练，并在调优超参数以及利用一些技巧来提高信号传播和收敛速度的基础上，在图像分类任务中获得了新的最高精度，证明了采用过参数化模型的 DP-SGD 方法也可以实现更好的性能，这是在私有和非私有图像分类之间精度差距缩小的一个重要步骤。

    Apr, 2022

  • 巨型数据集 ImageNet 规模下使用差分隐私进行训练

    本文旨在探究如何使用差分隐私来训练机器学习模型，以 ImageNet 图像分类为例，展示如何使用方法和模型类型来让训练过程更好地进行。我们展示了一些方法，使我们能够使用 DP 来训练一个 ResNet-18，精度为 47.9％。虽然这比 “朴素” 的 DP 训练要好，但是离没有隐私的情况下的 75％精度还有很大的差距。

    Jan, 2022

  • 神经网络的等效标准化

    通过引入一种快速的迭代方法，可以最小化权重的 L2 范数，同时提高了测试准确率，从而为小批量数据提供了一种替代 CIFAR-10 和 ImageNet 的 ResNet-18 中的批量和分组规范化方法

    Feb, 2019

  • 尺度归一化

    研究表明，保持等距性 /isometry 可以有效加速深度神经网络的训练，包括确定性和标度归一化方法。结果表明在学习开始时保持等距性很重要，保持等距性可以加速学习。

    Apr, 2016

  • 批量归一化使深度网络中残差块偏向于恒等函数

    通过初始化时将剩余分支与跳过连接相比，批归一化可以缩小深度神经网络的剩余分支，从而通过将归一化因子放在网络深度的平方根上，确保在训练早期，深度网络中的标准化剩余块计算的函数接近于恒等函数，这是批归一化可以显着提高残差网络最大可训练深度的关键原因之一，并且已经关键地促成了深度残差网络在广泛的基准测试上的实证成功。同时，我们还提出了一种不需要归一化即可训练深度残差网络的简单初始化方案，并且对残差网络进行了详细的实证研究，阐明了虽然批归一化网络可以使用更高的学习率进行训练，但这种影响只有在特定计算范围内才是有利的，并且在批大小较小时几乎没有任何好处。

    Feb, 2020

  • 残差网络的损失函数表面：集成和批归一化的作用

    本文表明深残差网络（Deep Residual Networks）可以视作一系列相对较浅网络的集合，并通过广义自旋玻璃模型分析其优化过程中的临界点数量及 Batch Normalization 技术等因素对网络深度动态变化的影响。

    Nov, 2016

  • 神经网络的对角缩放

    定义了一种二阶神经网络随机梯度训练算法，其块对角结构有效地实现了单元激活的归一化，并研究了该算法在稳健性方面的不足之处，揭示了步长缩放的新方式以及处理成本曲率快速变化的重要性。

    May, 2017

  • 规范化保存：为什么残差网络可以变得非常深？

    这份研究分析了 ResNet 的跳跃连接的效应，并提出了新理论结果，证明残差块中的跳跃连接方便保留梯度的范数，并导致稳定的反向传播，这是从优化的角度来看是可取的。研究还提出了一种新方法，Procrustes ResNets，来优化 ResNet 的过渡层，使其范数保持得更好。这些结果可以用来训练更深的网络，并启发新的深层网络架构。

    May, 2018

  • 预修剪和梯度下降改进差分隐私图像分类

    通过引入预剪枝和梯度删除来减少参数空间和提高可伸缩性，从而提高深度神经网络的训练，同时解决了差分隐私在训练过程中的可扩展性问题。

    Jun, 2023