Oct, 2023

多层神经网络的差分隐私非凸学习

PDF
TL;DR该论文主要研究了具有单个输出节点的（多层）全连接神经网络的差分隐私随机优化问题。通过提出多个算法并进行分析，揭示了在不同数据维度下实现的超出总体风险的可行性。其次，研究了具有 ReLU 激活函数的两层神经网络以及 DP-SGD 在全连接多层神经网络中的理论保证和参数的作用。
发现论文，激发创造
  • 隐私保护随机优化：凸和非凸设置下的新结果

    本文研究隐私保护随机优化问题在凸性和非凸性情况下的解决方案，并给出了针对不同损失函数的最优算法，其中包括 non-smooth generalized linear losses（GLLs）和多种约束条件以及多种平滑系数的情况。

    Jul, 2021

  • 私有随机非凸优化：自适应算法和更紧的泛化界

    研究不同 ially private (DP) 算法在随机非凸优化中的应用，通过提供对私有梯度法的分析，提出了 DP RMSProp 和 DP Adam 等最佳算法来达成更快的收敛速度，在两个流行的深度学习任务中，证明了 DP 自适应梯度法比标准的 DP SGD 更具有优势。

    Jun, 2020

  • 多元神经网络学习真实目标函数

    通过对具有 ReLU 激活函数的一层神经网络的分析，我们发现神经网络具有良好的优化特性，其具有多样的单元没有虚假局部最小值，在满足 “扩展特征矩阵” 的最小奇异值足够大的条件下，可以使损失函数变得任意小。

    Nov, 2016

  • DP-LSSGD: 隐私保护 ERM 中提高效用的随机优化方法

    本研究提出 DP-LSSGD，一种基于差分隐私的 SGD 算法，通过 Laplacian smoothing 减少噪音并保证同样的隐私保证，让训练凸和非凸机器学习模型更加稳定，同时使得模型泛化更好。

    Jun, 2019

  • 不剪辑的 DP-SGD：利普希茨神经网络之路

    本文介绍利用限制 Lipschitz 常数的深度神经网络训练，通过对每层的参数进行 Lipschitz 常数约束来提供灵敏度边界，实现差分隐私以保证网络的私密性，在固定的隐私保证下最大化梯度与噪声之比，并提供 Python 包以实现构建和私人训练。

    May, 2023

  • 两层神经网络格势的均场视角

    本论文在研究多层神经网络的优化问题，发现随机梯度下降算法会收敛到一个全局最优点，且这一点具有很好的泛化能力。结果表明，适当的尺度下，随机梯度下降动态可以通过某个非线性偏微分方程捕捉，从而证明了 SGD 的收敛性。

    Apr, 2018

  • 深度学习的超参数化收敛理论

    通过对大规模深层神经网络的优化方法的研究，我们证明了 SGD 可以在多项式时间内发现 DNNs 训练目标上的全局极小值。

    Nov, 2018

  • 关于学习超参数化神经网络的函数逼近视角

    研究了使用梯度下降法在过度参数化的双层神经网络中训练，证明了在足够过度参数化的条件下，GD 方法可以近似地将振幅算子的幂应用于生成响应 / 标签的基础 / 目标函数 $f^*$，并且提供了使用低秩逼近来减少经验风险的线性速率的足够条件，介绍了适用于球面上的多项式的一般结果的应用

    May, 2019

  • Dropout 的鲁棒性、一致性和差分隐私特性：保留还是舍弃？

    使用 dropout 来避免局部最小值的出现，同时也可用于稳定凸型 ERM 的梯度下降方法，从而提供准确且保护隐私的预测。

    Mar, 2015

  • 隐私随机凸优化：在线性时间的最优收敛率

    本文提出两种新的不同 ially private 的方法，实现了凸优化的最优解，使用较少的梯度计算，同时需要对数据有轻度平滑性的假设。

    May, 2020