联邦设置中的近最优差分隐私客户选择
采用微分隐私概念,提出一种在模型聚合之前加入人工噪音的差分隐私框架,证明该框架可以在不同保护级别下满足差分隐私。同时,优化了聚合轮数、系统总参与用户数和随机选取的用户数,实现了在不同隐私保护和性能要求下的隐私保护联邦学习算法设计,并通过仿真实验证明了该理论的正确性。
Nov, 2019
本文研究了在偏置客户端选择策略下的联邦学习的收敛性,并量化了选择偏差对收敛速度的影响。作者提出了Power-of-Choice这个通信和计算效率高的客户端选择框架,能够在收敛速度和解决方案偏差之间灵活地平衡。实验证明使用Power-of-Choice策略收敛速度可提高至多3倍,测试准确度可提高10%,相比随机选择基线有明显的提高。
Oct, 2020
本研究提出了一种新的基于分布式差分隐私的隐私保护联合学习方法,其可以有效避免联合攻击,以及“Sybil”攻击,并给出了相应的安全性证明。在模拟的 5000 个分布式网络客户端上的实验结果表明,该协议执行速度快,学习准确率高,且具有良好的隐私保护性能。
Feb, 2022
本文提出了一种局部差分隐私联邦学习算法,用于强凸但可能非光滑问题,以保护每个参与者的梯度免受诚实但好奇的服务器的侵犯,并通过给共享信息添加人工噪声来保证隐私,并动态分配时变噪声方差以最小化一个预定义的隐私预算约束下的优化误差上界,从而可以在无需调整迭代次数的情况下,在可接近最优解的周围实现隐私保护和效用,数值结果表明该算法优于现有的方法。
Aug, 2023
通过最小化客户子集与完整客户集之间的梯度空间估计误差,我们提出了一种旨在模拟完整客户参与下性能的新型客户选择策略,并引入了一种新颖的个体公平约束,以确保具有类似数据分布的客户具有类似的被选择频率,从长期的角度指导客户选择过程。我们利用Lyapunov优化和子模函数高效地识别出最佳客户子集,并对收敛能力进行了理论分析。实验结果表明,与先前方法相比,所提出的策略在提高准确性和公平性的同时,还以最小的时间开销显示出高效性。
May, 2024
在集中式系统中的联邦学习(FL)中,本文解决了在受信任和不受信任服务器场景下保护隐私的挑战,分析了这种设置在随机凸优化(SCO)框架中,并设计了一种方法,以确保差分隐私(DP)同时保持同质和异质数据分布的最佳收敛速率。我们基于一种最近的随机优化技术的方法,提供了线性的计算复杂度,与非私有FL方法相当,并减少了梯度混淆。这项工作在各种服务器信任环境中平衡隐私、效率和稳健性,增强了DP在FL中的实用性。
Jul, 2024
本研究解决了在差分隐私联邦学习(DPFL)中客户隐私需求异质性的问题,该问题影响到客户选择的效率和模型性能。通过对DPFL的收敛性分析,提出了一种基于偏见客户选择的算法(DPFL-BCS),能够有效优化客户选择过程。实验结果表明,DPFL-BCS在模型实用性方面显著优于最先进的基线方法。
Aug, 2024
本研究解决了在差分隐私保障下,面对随机对手和无意识对手的专家联合在线预测中的遗憾最小化问题。提出的Fed-DP-OPE-Stoch算法在提高每个客户端的遗憾速度上取得了显著进展,而Fed-SVT算法则在特定情况下实现了m倍的遗憾加速,显示出其接近最优的性能。这项研究首次探讨了联合环境中专家的差分隐私在线预测。
Sep, 2024