具有相关噪声的差分隐私在线联邦学习
本文提出了一种局部差分隐私联邦学习算法,用于强凸但可能非光滑问题,以保护每个参与者的梯度免受诚实但好奇的服务器的侵犯,并通过给共享信息添加人工噪声来保证隐私,并动态分配时变噪声方差以最小化一个预定义的隐私预算约束下的优化误差上界,从而可以在无需调整迭代次数的情况下,在可接近最优解的周围实现隐私保护和效用,数值结果表明该算法优于现有的方法。
Aug, 2023
在研究中,我们表征了任意关联函数的渐进学习效用,并给出了线性回归的精确分析边界以及对于一般凸函数问题的凸优化问题的解。我们通过这些界限展示了关联噪声相对于基本 DP-SGD 在问题参数(如有效维度和条件数)上的可证明改进。此外,我们的近乎最优关联函数的解析表达,绕开了先前工作中用于优化噪声关联矩阵的半正定程序的立方复杂性。我们通过隐私深度学习实验验证了我们的理论,在计算和内存方面都与之前的工作相匹配或超越。
Oct, 2023
在联邦学习中,差分隐私被用于保护数据隐私和提高模型效用,然而,在具有异质性要求和客户端批次 / 数据集大小差异的情况下,传统的聚合策略会降低效用。本文提出了一种名为 Robust-HDP 的方法,通过有效估计客户端模型更新中的噪声水平并显著减少聚合模型更新中的噪声水平,来提高效用和收敛速度,并对客户端的恶意行为进行安全处理。实验结果和理论分析验证了 Robust-HDP 的有效性。
Jun, 2024
通过采用自适应噪声添加技术,我们提出了一种针对联邦学习的改进方案,根据特征的相对重要性决定注入噪声的数值,以平衡隐私和模型准确性的关系。实验证实了在一定条件下,通过慎重选择参数,可以提高隐私保护而减少模型性能的损失。
Jan, 2024
我们介绍一种新颖的联邦学习框架 FedCEO,通过让客户端相互合作,在模型效用和用户隐私之间取得平衡,实现了严格的隐私保障。我们在服务器上对堆叠的本地模型参数进行高效的张量低秩近似优化,并使用光谱空间灵活截断高频分量,从而有效地恢复被破坏的语义信息并对不同隐私设置和持续训练过程平滑全局语义空间,同时改进了最先进的效用 - 隐私折衷边界。我们通过对典型图像数据集进行实验证实了我们的理论结果,在不同隐私设置下观察到显著的性能提升和严格的隐私保证。
Feb, 2024
采用微分隐私概念,提出一种在模型聚合之前加入人工噪音的差分隐私框架,证明该框架可以在不同保护级别下满足差分隐私。同时,优化了聚合轮数、系统总参与用户数和随机选取的用户数,实现了在不同隐私保护和性能要求下的隐私保护联邦学习算法设计,并通过仿真实验证明了该理论的正确性。
Nov, 2019
本文提出了 Decor,它是一种具有差分隐私保证的分散式 SGD 变体,通过一轮通信中安全地交换随机种子来生成成对抵消的相关高斯噪声,以保护每一轮通信中的本地模型,并在理论上和实践上证明 Decor 在任意连通图中匹配了中心化差分隐私的最佳隐私 - 效用折衷,并在 SecLDP 下实现了所有用户通信的保护,假设每对连接的用户共享一个密钥作为隐藏信息。
May, 2024
通过个性化差分隐私框架和考虑各种异构性和属性调整的方法,该论文提出了一种高效地保护隐私的个性化差分隐私框架,并对联邦学习算法的收敛边界进行了分析,同时进一步研究了考虑时间变化的个性化因素的收敛性质。
Jun, 2024
本研究聚焦于分布式差分隐私条件下联邦非参数拟合优度测试,证明了最小极小分离率的匹配下界和上界,并观察到有趣的相变现象,还发现具备共享随机性的分布式一次性协议在性能上优于没有共享随机性的协议,同时提出一种适应未知规律参数的数据驱动测试过程,能够在各类函数集合上实现最小附加成本,并保持对相同差分隐私约束的遵守。
Jun, 2024