通过数据增强和摊销推理实现可扩展的垂直联邦学习
本文提供了关于垂直联邦学习的综述,包括联邦学习的概念、算法及其各个方面的挑战和现有进展;介绍了 VFL 的分类、隐私保护协议、攻击和防御策略,并提出了 VFLow 统一框架;最后还回顾了工业应用的最新进展和存在的开放性问题和未来发展方向。
Nov, 2022
垂直联邦学习(VFL)是一种新兴的分布式机器学习范式,其中具有共同实体的不同特征的所有者合作学习一个全局模型,而不共享数据。我们提出了解耦的 VFL(DVFL)作为一种分块学习方法,它允许分散聚合和特征学习与标签监督之间的隔离,在容错性和安全性方面具有优势。我们使用 DVFL 训练分割神经网络,并证明在各种分类数据集上,模型性能与 VFL 相当。
Mar, 2024
垂直联邦学习是一种联邦学习的类别,在这种类别中,每个客户端共享相同的样本空间,但仅持有特征的子集。本文提出了 Internet Learning(IL),包括其数据分割和网络环境,将性能表现优化为处理客户端的极端动态条件的主要目标。在模拟传感器网络的基础上,通过实现新方法,提出指标并广泛分析结果,证明所开发的方法对网络变化的鲁棒性更优于 VFL 基线。
Dec, 2023
本文介绍了两个影响垂直联邦学习性能的关键因素 - 特征重要性和特征相关性,并提出了相关的评估指标和数据集分割方法,同时介绍了一个实际的 VFL 数据集来解决图像之间的 VFL 场景不足。针对尖端的 VFL 算法的全面评估为未来的研究提供了有价值的见解。
Jul, 2023
该研究探讨了一种解决垂直联邦学习的方法,该方法不需要多个客户端协作,适合客户端间断性连接,并采用基于扰动局部嵌入的隐私保护技术和随机梯度算法,从而提高通信效率和数据隐私保护等方面表现更加优越。
Jul, 2020
本文从硬件层到垂直联邦系统层对垂直联邦学习的现有工作和挑战进行分类,特别设计了一种新的 MOSP 树分类法来分析保护对象、安全模型和隐私保护协议等四个维度的核心组件 - 安全垂直联邦机器学习算法。
Apr, 2023
本文提出了一种使用最先进的安全模块进行安全和高效的垂直联邦学习的新方法,与同态加密(HE)相比,该方法提供了 9.1e2〜3.8e4 的加速,同时不影响训练性能。
May, 2023
本文提出一种 VFBL 框架,整合了新的向后更新机制和双层异步并行体系结构(VF {${ extbf {B}}^2$}),在该框架下提出了三种新算法,包括 VF {${ extbf {B}}^2$}-SGD,-SVRG 和 - SAGA,这三个算法在强凸和非凸条件下具有收敛速率的理论结果,我们也证明了 VF {${ extbf {B}}^2$} 的安全性。 大量基准数据集上的实验表明,我们的算法具有高效性,可扩展性和无损失性。
Mar, 2021