Jun, 2023

基于级联混合优化的安全快速异步竖直联邦学习

PDF
TL;DR本文提出了一个级联混合优化方法来加速零阶优化算法，从而解决基于零阶优化的垂直联邦学习算法的收敛速度慢的问题。该算法在较大模型的训练中非常有效，且具有相当的隐私保护水平。
vertical federated learningzeroth-order optimizationprivacy-preserving modelcascaded hybrid optimizationconvergence rate
发现论文，激发创造
  • 具有异构参与方的灵活垂直联邦学习

    本文提出了一种名为 Flex-VFL 的分布式机器学习算法，它通过垂直划分数据的方式训练平滑的非凸函数，使用并行块坐标下降的方式训练全局模型并在不同的方面进行扩展来适应各方参与训练的异质性，通过收敛分析展示了算法的效果，并将其与其他算法进行了比较。

    Aug, 2022

  • 垂直联邦学习

    本文提供了关于垂直联邦学习的综述，包括联邦学习的概念、算法及其各个方面的挑战和现有进展；介绍了 VFL 的分类、隐私保护协议、攻击和防御策略，并提出了 VFLow 统一框架；最后还回顾了工业应用的最新进展和存在的开放性问题和未来发展方向。

    Nov, 2022

  • VAFL: 垂直异步联邦学习方法

    该研究探讨了一种解决垂直联邦学习的方法，该方法不需要多个客户端协作，适合客户端间断性连接，并采用基于扰动局部嵌入的隐私保护技术和随机梯度算法，从而提高通信效率和数据隐私保护等方面表现更加优越。

    Jul, 2020

  • 基于分层视角的垂直联邦学习综述

    本文从硬件层到垂直联邦系统层对垂直联邦学习的现有工作和挑战进行分类，特别设计了一种新的 MOSP 树分类法来分析保护对象、安全模型和隐私保护协议等四个维度的核心组件 - 安全垂直联邦机器学习算法。

    Apr, 2023

  • 垂直联邦学习的效果、安全性、适用性调查

    纵向联邦学习是一种隐私保护的分布式学习范式，不泄露私密数据的情况下，不同参与方通过使用共享样本的分区特征协同学习模型。本文对纵向联邦学习的最新发展进行了系统概述，并提出了几个关键的未来研究方向，以促进该领域的发展。

    May, 2024

  • 使用反向更新的安全双层异步垂直联邦学习

    本文提出一种 VFBL 框架，整合了新的向后更新机制和双层异步并行体系结构（VF {${ extbf {B}}^2$}），在该框架下提出了三种新算法，包括 VF {${ extbf {B}}^2$}-SGD，-SVRG 和 - SAGA，这三个算法在强凸和非凸条件下具有收敛速率的理论结果，我们也证明了 VF {${ extbf {B}}^2$} 的安全性。 大量基准数据集上的实验表明，我们的算法具有高效性，可扩展性和无损失性。

    Mar, 2021

  • 竖直联邦学习混合本地预训练

    垂直联邦学习（VFL）在学术界和工业界引起了广泛关注，它具有广泛的实际应用。本文提出了一种新颖的 VFL 混合本地预训练（VFLHLP）方法，通过预训练本地网络来调整标记方的子模型或增强其他方在对齐数据上的表示学习，以提高联邦模型的性能。

    May, 2024

  • 纵向联邦学习：挑战、方法与实验

    本文针对垂直联邦学习 (VFL) 这种特殊的架构设计，旨在解决 VFL 中关于安全隐私、大量计算和通信成本、模型分裂和系统异构等方面的研究挑战，提出有效的解决方案并在真实数据集上进行了实验，证明了我们的方案的有效性。

    Feb, 2022

  • AsySQN: 更快的垂直联邦学习算法，更好的计算资源利用

    本文提出了一种异步的基于拟牛顿算法的竖直联邦学习框架 (AsySQN)，并在此基础上提出了 AsySQN-SGD、AsySQN-SVRG 和 AsySQN-SAGA 三个算法，通过在实践中收敛比 SGD 更快地 Hessian 所产生的形式来缩小下降步长，从而大大减少通信轮次，并可以更好地利用计算资源，同时理论上证明了算法对于强凸问题的收敛速度，实验结果表明我们提出的算法在真实数据集上比现有的算法具有更低的通信成本和更好的计算资源利用率。

    Sep, 2021

  • 通过数据增强和摊销推理实现可扩展的垂直联邦学习

    该研究提出了第一个用于垂直联合学习（VFL）中贝叶斯模型拟合的全面框架，通过数据增强技术将 VFL 问题转化为与现有贝叶斯联合学习算法兼容的形式，并开创了在垂直分区数据场景中进行隐私保护、去中心化贝叶斯推断的新研究方向与应用领域。

    May, 2024