本文提出了一种分布式优化算法,通过引入差分隐私的方法来保护隐私信息,该算法通过加性噪声扰动公共信号,噪声的大小由投向用户指定约束条件的投影运算的灵敏度决定,将它视为随机梯度下降的一种实现,并通过对其次优性的边界估计来评估算法的性能,同时对电动汽车充电场景进行了数值模拟,评估了算法在实践中的使用效果,包括步长的选择、迭代次数以及隐私级别和子优延迟之间的权衡问题。
Nov, 2014
分布式优化和学习中的隐私保护方法进行了综述,介绍了密码学、差分隐私等技术,并提出利用差分隐私算法来确保隐私和优化准确性,在多个机器学习问题中得到实际应用验证。同时探讨了该研究领域的挑战和未来方向。
Feb, 2024
本文提出两种新的不同 ially private 的方法,实现了凸优化的最优解,使用较少的梯度计算,同时需要对数据有轻度平滑性的假设。
May, 2020
本文说明如何通过更加精心地分配每个迭代的隐私预算,从而改进基于梯度的算法,提高其对模型拟合的性能。
Aug, 2018
本研究提出了一种基于不同隐私的分散式深度学习方法,该方法对协作学习的数据进行隐私保护,保障节点之间数据的安全交换。实验结果表明,在稀疏图和不均匀数据分布下,不同隐私梯度跟踪具有抗干扰性,并且可在不向其他代理共享原始数据的情况下学习高准确性模型。
Jun, 2023
本文研究了分布式估计和学习问题。利用线性聚合方案和调整的随机化方案,通过交换信息,聚合数据并在保护个体隐私的前提下估计未知特征值。通过对一些例子的验证,证明该算法的高效性和性能保障。
研究不同 ially private (DP) 算法在随机非凸优化中的应用,通过提供对私有梯度法的分析,提出了 DP RMSProp 和 DP Adam 等最佳算法来达成更快的收敛速度,在两个流行的深度学习任务中,证明了 DP 自适应梯度法比标准的 DP SGD 更具有优势。
Jun, 2020
本文利用分布式鲁棒优化技术,开发了一种机制设计模型,以实现最高准确度和隐私预选级别的非渐近和无条件最优性保证。
Apr, 2023
通过差分隐私机制,我们研究了离散优化问题如 $k$-median 问题、顶点集覆盖、最小割、设施选址、Steiner 树和组合公开项目等,在保证客户隐私的前提下仍能获得较好的近似解,并展示了密码学定义无法做到这点的例子。
Mar, 2009
本文提出了一种自适应的(随机)梯度扰动方法用于差分隐私经验风险最小化,在每次迭代中将添加的随机噪声优化适应于步长;我们将这个过程称为自适应差分隐私(ADP)学习。 通过相同的隐私预算,我们证明了 ADP 方法相比于加入香草随机噪音的标准差分隐私方法,可以显著提高实用保证性能。 我们的方法特别适用于具有时间变化学习率的基于梯度的算法,包括 AdaGrad(Duchi 等,2011)的变体。 我们进行了大量的数字实验,以展示所提出的自适应差分隐私算法的有效性。
Oct, 2021