Dec, 2023

隐私扩大通过（强）凸目标函数的ADMM迭代

HTML
PDF
TL;DR我们研究了一种私有的凸性目标ADMM变种，它是一种原始-对偶迭代方法。每次迭代都有一个用户使用私有函数来更新原始变量，通过加入高斯噪声来保证本地隐私，而无需直接给对偶变量添加噪声。通过迭代进行隐私放大，可以探索是否后续迭代中的噪声能够增强在最后一次迭代后释放最终变量时的隐私保证。我们的主要结果是，梯度ADMM变体的隐私保证可以与迭代次数成比例地放大，对于强凸目标函数，这种放大随迭代次数呈指数增长。
发现论文，激发创造
  • 基于ADMM的分布式算法的隐私和精度改进

    为了解决分布式计算过程中数据隐私泄露的问题，提出了一种基于改进的ADMM算法的扰动方法，可同时提高实用性和隐私性，并得到收敛性条件和收敛速率下界。

    Jun, 2018

  • 迭代式隐私放大

    使用微分隐私技术对加性迭代算法的中间结果进行保护，避免泄露中间过程可以强化隐私保障并解决凸优化问题。

    Aug, 2018

  • DP-ADMM: 基于ADMM的差分隐私分布式学习

    本文提供了DP-ADMM算法，它结合了近似增广拉格朗日函数和时间变化的高斯噪声添加，以在相同的不同隐私保证下，实现更高效的一般目标函数的分布式学习，同时应用矩accountant方法来限制端到端的隐私损失。DP-ADMM算法可以用于更广泛的分布式学习问题，具有可证明的收敛性和明确的效用-隐私权衡，并且可以实现高的收敛性和模型精度。

    Aug, 2018

  • 分布式算法中的回收型ADMM: 降低计算量，提高隐私性和准确性

    本研究提出了一种名为R-ADMM的新方法，它可以在分布式系统中，通过每个偶数迭代时应用线性近似，同时只使用上一个奇数迭代的结果来计算，从而减少了计算量和隐私泄露，并根据目标扰动提供了隐私分析等.

    Oct, 2018

  • 分布式医疗机器学习的差分隐私ADMM

    本文提出了使用差分隐私的Alternating Direction Method of Multipliers（P-ADMM）算法，使得在分布式机器学习中每个本地数据集与邻近代理交换计算结果的迭代过程中保持数据隐私不泄露，并证明这一算法与非私有算法有着相同的收敛率, 实验结果表明P-ADMM在现有的基于ADMM的差分隐私算法中表现最佳。

    Jan, 2019

  • 回收 ADMM: 提高分布式算法的隐私性和精度

    提出了基于线性逼近、节省计算量和数据隐私的递归交替方向乘法算法（R-ADMM），并进一步修改（MR-ADMM）。该算法可用于解决分布式环境中的凸优化问题，改进了隐私-准确性权衡。

    Oct, 2019

  • 梯度扰动在差分隐私凸优化中的价值被低估了

    本文探讨梯度扰动在差分私有性上优劣的影响。我们发现在不同凸优化问题中，期望曲率可更好地决定噪声扰动的实际效果，而不是最小曲率。进一步实验表明使用高级组合方法的梯度扰动比其他扰动方法表现更好。

    Nov, 2019

  • 基于ADMM的可信差分隐私分布式机器学习

    本文提出了 PP-ADMM 和 IPP-ADMM，采用扰动优化和稀疏向量技术，在保护本地数据隐私的同时，提高了模型的准确性和收敛速度，并跟踪零集中的差分隐私度量，实验证明在相同的隐私保证下，该算法优于现有算法。

    Aug, 2020

  • 凸优化的私有自适应梯度方法

    本研究探讨了差分隐私凸优化中的自适应算法，通过实现不同差分隐私变量Stochastic Gradient Descent（SGD）算法和Adagrad算法的私有版本，证明了我们的私有版本的Adagrad优于自适应SGD，而这又优于传统的SGD。我们提供了两种算法的后悔上界，并表明这些上限是最优的。

    Jun, 2021

  • 差分隐私的偏移插值

    这篇论文通过建立“迭代的隐私放大”现象的统一框架，改进了先前分析的方法，有效地量化了差分隐私算法的隐私泄露，并扩展到各种设置和概念中，进而在 strongly convex optimization 领域中实现了第一个精确的隐私分析。

    Mar, 2024