Jul, 2020

随机签到的隐私扩大

PDF
TL;DR本文介绍了一种分布式协议，称为随机签到分布式协议，它可用于联合学习等环境中的差分隐私随机梯度下降，在隐私和准确性之间实现了权衡，并且不需要服务器发起通信或了解总体规模。同时，作者还扩展了隐私放大技术，以在使用数量更少的用户数据时提供相似的隐私保护和效用。
differentially private stochastic gradient descentprivacy amplificationfederated learningrandom check-in distributed protocolprivacy/accuracy trade-offs
发现论文，激发创造
  • 无抽样或洗牌的实用且保密的 (深度) 学习

    使用差分隐私的 Follow-The-Regularized-Leader（DP-FTRL）是一种比 DP-SGD 更加灵活的模型训练方法，在隐私、准确性和计算方面表现都很好，特别适用于联邦学习等实际场景，同时也不需要使用任何隐私扩展。

    Feb, 2021

  • 超越统计估计：洗牌模型中的差分隐私个体计算

    这项工作探讨了用于非统计计算的混洗隐私扩大的可行性，提出了一种新的混洗模型范例，并引入了统计上的随机标识，从而在保持隐私扩大同时实现关键的安全功能。实验结果表明，这种模型和机制在减少错误率、提高效用性能方面相对于非隐私设置快速并且实用。

    Jun, 2024

  • 通过伯努利采样进行隐私放大

    本文分析了从一个多维伯努利分布中采样给定私有算法的参数的隐私放大效应，提供了计算放大因子的算法，并建立了上下界，从而平衡隐私和准确性之间的的矛盾。

    May, 2021

  • DP-SGD 的隐私程度如何？

    我们展示了 Adaptive Batch Linear Queries (ABLQ) 机制在不同类型的批量采样（洗牌和泊松子采样）下的隐私保证之间存在重大差距，这提示我们在报告 DP-SGD 的隐私参数时要小心。

    Mar, 2024

  • 躲藏在克隆之中：洗牌隐私扩增的简单且几乎最优分析

    随机洗牌可显著提高局部随机化数据的差分隐私保证，我们提出了一种基于新方法的差分隐私算法，其具有渐近最优的依赖性，应用于洗牌模型中的频率估计，是简单且近乎最优的算法。

    Dec, 2020

  • 从局部到中心差分隐私的扩大：通过匿名化实现

    本文研究了本地差分隐私模型下敏感统计信息的收集，提出了一种算法，其隐私成本与用户值的更改数量的对数成正比。通过匿名化用户报告，基于用户报告的匿名性，我们还展示了当以中心式差分隐私模型来看待时，我们的 LDP 算法的隐私成本实际上会更低。通过新的隐私放大技术，我们证明了任何置换不变的算法，满足 ε 局部差分隐私的同时，也会满足（O（ε sqrt {log（1/δ）/n）}，δ）中心差分隐私。作为实际的推论，我们的研究结果表明，几个基于 LDP 的工业部署的隐私成本会比它们宣传的 ε 值所表示的要低得多，至少是在报告经过匿名化的情况下。

    Nov, 2018

  • 采样机制下的个性化 DP-SGD

    基于个性化采样机制的深度学习 DP-SGD 扩展算法，支持针对不同用户的个性化差分隐私保护，实验证明其性能和效率优于现有的 DP-SGD 和 PDP 机制。

    May, 2023

  • 增强稀疏化隐私与自适应优化的联邦学习

    这篇论文提出了一种新的联邦学习框架，采用随机稀疏化和梯度扰动来增强差分隐私保证，结合加速技术减少隐私代价，并利用 Renyi DP 紧密评估端到端 DP 保证。实验结果验证了该方法在隐私保证和通信效率方面的优于之前的方法。

    Aug, 2020

  • FLAME：洗牌模型下的差分隐私联邦学习

    通过隐私放大效应在混洗模型的差分隐私中实现联邦学习的最佳两个世界，提出了 SS-Simple，在 FL 中提供了不足的隐私放大效应，之后通过分层采样提高了隐私放大效应，减少了模型参数维度的数量级，并提出了一种高级方案 SS-Topk 用于梯度稀疏技术，通过理论分析和实际实验验证了所提出的协议的隐私放大效应。

    Sep, 2020

  • Rényi 差分隐私的群隐私放大和统一放大的子采样

    我们研究了差分隐私和 Rényi-DP 框架下的群体隐私和分样本扩增，并提出了一种统一的分样本扩增隐私计算方法。我们的研究发现，这种方法不仅可以改进和推广现有的分样本扩增结果，还能导出比现有方法更严格的群体隐私扩增保证，从而将不同差分隐私属性的联合研究作为一个有希望的研究方向。

    Mar, 2024