差分隐私的随机游走分散式学习
研究深度学习模型在保护隐私方面的挑战,尤其是在图形结构数据上应用差分隐私随机梯度下降来防止训练数据泄漏。这篇论文提出通过在给定训练图的不相交子图上训练图神经网络来解决这个问题,并且进行了大量实验来验证方法的有效性。
Jan, 2023
我们提出了一个基于图神经网络的学习框架,该框架可以在用户层面提供节点隐私,并且在损失效用性方面表现较低。我们使用分布式隐私保护的概念,并在节点水平对特征和标签数据应用随机化机制,在数据被中央服务器收集用于模型训练之前进行扰动。通过随机化数据的统计分析中的频率估计,我们开发了重构方法来逼近扰动数据的特征和标签。我们还形成了利用图聚类的频率估计来在子图层面监督训练过程的学习框架。在真实数据集和半合成数据集上进行了大量实验,证明了我们提出模型的有效性。
Sep, 2023
移动设备、隐私、实用性、联邦学习和差分隐私是该研究的主要关键词,研究通过在联邦学习中采用差分隐私的实验环境并使用基准数据集来探讨隐私与实用性之间的平衡问题。
Nov, 2023
在这篇论文中,我们以一个联邦迁移学习框架解决了数据异构性和隐私保护这两个突出的挑战,旨在在遵守隐私约束的同时通过利用来自多个异构源数据集的信息来增强目标数据集上的学习能力。我们严格地提出了 “联邦差分隐私” 的概念,为每个数据集提供隐私保证而不依赖于可信任的中央服务器。在此隐私约束下,我们研究了三个经典的统计问题,即一维均值估计、低维线性回归和高维线性回归。通过研究极小化速率和确定这些问题的隐私成本,我们展示了联邦差分隐私是介于已确立的本地和中央模型差分隐私之间的一个中间隐私模型。我们的分析涵盖了数据异构性和隐私,突出了在联邦学习中二者的基本成本,并强调了跨数据集的知识迁移的好处。
Mar, 2024
本文研究基于联邦学习的隐私保护问题,提出了一种局部差分隐私机制,以解决当前机制存在的噪声数据接近原始值、估计平均数的方差过大和深度学习模型权重维数高导致隐私预算过大的问题。实验结果表明,该机制不仅具有优异的深度学习性能,而且能够提供强大的隐私保证。
Jul, 2020
本研究提出了一种基于不同隐私的分散式深度学习方法,该方法对协作学习的数据进行隐私保护,保障节点之间数据的安全交换。实验结果表明,在稀疏图和不均匀数据分布下,不同隐私梯度跟踪具有抗干扰性,并且可在不向其他代理共享原始数据的情况下学习高准确性模型。
Jun, 2023
本研究提出了一种基于梯度追踪的本地差分隐私分布式在线学习算法,通过确保严格的本地差分隐私,该算法在均方意义下收敛于精确的最优解,即使在迭代次数趋向无穷的情况下,累积隐私预算也是有限的。在实验中,该算法在多个基准机器学习应用中表现良好,并且在训练和测试准确性方面均优于现有的对应方法。
Oct, 2023
通过个性化差分隐私框架和考虑各种异构性和属性调整的方法,该论文提出了一种高效地保护隐私的个性化差分隐私框架,并对联邦学习算法的收敛边界进行了分析,同时进一步研究了考虑时间变化的个性化因素的收敛性质。
Jun, 2024
研究分布式机器学习系统,并基于修正的随机优化算法实现私人级联学习,在保证局部模型私密性的同时,与全局模型进行协调,提升了准确性和隐私保护的平衡。
Feb, 2022