纵向分块数据上的混合差分隐私联邦学习
本文提出了一种结合差分隐私和安全多方计算的联邦学习方法,在保证训练和最终模型的隐私性的同时,也能够保持较高的预测准确率,这个系统不仅能应用于多种机器学习模型的训练,而且在实验上验证了它的优越性。
Dec, 2018
通过在目标函数中添加噪声,我们提出了一个新的差分隐私保持多方学习的框架,在垂直分割的情况下仅需要一轮的噪声添加和安全聚合,并将单方和跨方子函数的计算和扰动分配给本地各方。我们提出的方法在合成和真实数据集的线性和逻辑回归实验中表现出了良好的效果,且与集中式设置下应用的功能机制具有相同效用。
Nov, 2019
本文提出了针对垂直分割数据的异步联邦学习算法AFSGD-VP及其SVRG和SAGA变体,并在强凸条件下提供了收敛性分析。实验结果验证了本算法的理论结果,并表明我们的算法比相应的同步算法效率高得多,并且具有模型隐私保护。
Aug, 2020
本文提出了一种使用最先进的安全模块进行安全和高效的垂直联邦学习的新方法,与同态加密(HE)相比,该方法提供了9.1e2〜3.8e4的加速,同时不影响训练性能。
May, 2023
本文提出了一个级联混合优化方法来加速零阶优化算法,从而解决基于零阶优化的垂直联邦学习算法的收敛速度慢的问题。该算法在较大模型的训练中非常有效,且具有相当的隐私保护水平。
Jun, 2023
本文研究了垂直联邦学习在数据隐私和任务效用目标之间的微妙平衡,并提出了一种灵活而通用的方法来解决这个问题。通过对共享特征嵌入进行规范剪裁,我们首先得出了严格的隐私保证,接下来通过对特征嵌入的规模和分布进行自适应调整,我们还优化了任务效用,同时不损害建立的差分隐私机制。通过大量实验证明了我们提出的VFL-AFE框架能有效抵御隐私攻击并保持有利的任务效用。
Jul, 2023
在该研究中,我们提出了差分私有分层联邦学习(DP-HFL),这是一种增强了隐私-效用权衡的联邦学习方法。通过在已建立的联邦学习层次结构的不同层级(边缘设备、边缘服务器和云服务器)上根据特定子网络的信任模型进行差分隐私噪声注入,我们对DP-HFL的收敛行为进行了全面分析,并揭示了收敛行为的参数调整条件,这些条件决定了模型训练过程收敛到一个静止间隙情况的速度,此间隙依赖于网络层次结构、信任模型和目标隐私水平。随后的数值评估表明,DP-HFL在不同隐私预算下提高了收敛速度,并验证了网络配置对训练的影响。
Jan, 2024
综述了垂直联邦学习中的隐私攻击和防御方法,提供了攻击和防御的分类方法,并讨论了未来的研究方向和挑战,为研究人员提供了资源,为从业者在机器学习模型的生命周期中保护数据隐私提供明确指导和可行的见解。
Feb, 2024
在这篇论文中,我们以一个联邦迁移学习框架解决了数据异构性和隐私保护这两个突出的挑战,旨在在遵守隐私约束的同时通过利用来自多个异构源数据集的信息来增强目标数据集上的学习能力。我们严格地提出了“联邦差分隐私”的概念,为每个数据集提供隐私保证而不依赖于可信任的中央服务器。在此隐私约束下,我们研究了三个经典的统计问题,即一维均值估计、低维线性回归和高维线性回归。通过研究极小化速率和确定这些问题的隐私成本,我们展示了联邦差分隐私是介于已确立的本地和中央模型差分隐私之间的一个中间隐私模型。我们的分析涵盖了数据异构性和隐私,突出了在联邦学习中二者的基本成本,并强调了跨数据集的知识迁移的好处。
Mar, 2024
本研究针对联邦学习中隐私保护不足的问题展开,探讨了现有对于噪声联邦差分隐私分析的局限性。通过引入 f-DP 分析方法,论文证明了 Noisy-FedAvg 方法在隐私保护中的收敛下界,以及 Noisy-FedProx 方法的稳定隐私下界,为联邦学习的隐私保护提供了理论支持,并可推广应用至其他差分隐私分析框架。
Aug, 2024