FedEmb: 基于网络和特征嵌入聚合的垂直和混合联邦学习算法

Nov, 2023

FedEmb: 基于网络和特征嵌入聚合的垂直和混合联邦学习算法

FedEmb: A Vertical and Hybrid Federated Learning Algorithm using Network And Feature Embedding Aggregation

Fanfei Meng, Lele Zhang, Yu Chen, Yuxin Wang

TL;DR本文提出了一种名为 FedEmb 的泛化算法，用于建模垂直和混合 DNN 学习，通过提高推理准确性、增强隐私保护性质以及降低客户端与服务器通信带宽需求，该方法在处理分散问题时展现出了显著的 0.3% 至 4.2% 推理准确性的提升，并减少了 88.9% 的时间复杂度相对于垂直基线方法。

Abstract

federated learning (FL) is an emerging paradigm for decentralized training of machine learning models on distributed clients, without revealing the data to the central server. The learning scheme may be horizontal, vertical or hybrid (both vertical and horizontal). Most existing resear

federated learning deep neural network vertical and hybrid schemes privacy-preserving properties client-server communication

发现论文，激发创造

混合联邦图卷积神经网络：一种高效的混合联邦学习算法

提出了一种称为 FedGraph 的泛化算法，该算法使用图卷积神经网络从客户端的子集中学习特征，捕捉特征共享信息，并采用简单但有效的聚类算法聚合每个客户端的深度神经网络生成的特征，同时保护数据隐私。

Apr, 2024

使用敌对嵌入攻击竖直联邦学习模型

本研究探讨了垂直联邦学习的安全保障问题，针对现有垂直联邦学习框架中使用密码学技术提供数据隐私和安全保障的方式，提出了对模型安全性的进一步研究探讨。

Dec, 2022

安全聚合的高效垂直联邦学习

本文提出了一种使用最先进的安全模块进行安全和高效的垂直联邦学习的新方法，与同态加密（HE）相比，该方法提供了 9.1e2〜3.8e4 的加速，同时不影响训练性能。

May, 2023

FedPH: 增强隐私的异构联邦学习

提出一种新的联邦学习方法，利用预训练模型作为本地模型的骨架，使用完全连接的层组成头部来解决客户端数据分布和计算资源不同的问题，在客户端之间共享类别的嵌入向量，采用加噪声的隐私保护混合方法来保护隐私，最后在自建车辆数据集上进行全面评估。

Jan, 2023

VFedMH: 垂直联邦学习用于训练多方异构模型

垂直联邦学习（VFL）作为一种集成样本对齐和特征汇聚的新型训练范例，受到了越来越多的关注。然而，现有的 VFL 方法在处理参与者之间的异构本地模型时面临挑战，影响了优化收敛和泛化能力。为了解决这个问题，本文提出了一种新颖的方法，称为垂直联邦学习用于训练多方异构模型（VFedMH）。VFedMH 专注于聚合每个参与者的知识嵌入，而不是在前向传播过程中聚合中间结果。通过安全地聚合本地嵌入获取全局知识嵌入，并将其发送给被动方。然后，被动方利用全局嵌入在本地异构网络上进行前向传播。然而，被动方没有标签，因此无法在本地计算本地模型的梯度。为了克服这个局限性，主动方协助被动方计算其本地异构模型梯度。然后，每个参与者使用异构模型梯度训练其本地模型，目标是最小化各自本地异构模型的损失值。此外，本文还对 VFedMH 的收敛性能进行了理论分析。通过大量实验证明，VFedMH 能够同时训练多个异构模型，并在模型性能方面超过一些最近的方法。

Oct, 2023

水平和垂直数据分区的高效电子健康混合联邦学习

电子健康允许智能设备和医疗机构协作收集患者数据，通过人工智能技术进行训练，以帮助医生进行诊断。我们提出了一个混合联邦学习框架，包括水平和垂直分区的数据，并开发了一种适应性策略来调整训练参数和缩小发送的数据大小。实验证明，所提出的算法可以实现所需的准确性，同时减少通信成本，也验证了适应性策略的有效性。

Apr, 2024

具有自适应特征嵌入的灵活差分隐私垂直联邦学习

本文研究了垂直联邦学习在数据隐私和任务效用目标之间的微妙平衡，并提出了一种灵活而通用的方法来解决这个问题。通过对共享特征嵌入进行规范剪裁，我们首先得出了严格的隐私保证，接下来通过对特征嵌入的规模和分布进行自适应调整，我们还优化了任务效用，同时不损害建立的差分隐私机制。通过大量实验证明了我们提出的 VFL-AFE 框架能有效抵御隐私攻击并保持有利的任务效用。

Jul, 2023

vFedSec：通过安全层实现垂直联邦学习的高效安全聚合

本文提出了一种名为 vFedSec 的新型设计，其中包含一个创新的安全层，可使用安全聚合中的最新安全模块安全高效地进行垂直联邦学习，实现隐私数据的有效保护，并且速度比同类方法快得多。

May, 2023

纵向联邦学习：一项结构化文献综述

本文介绍了垂直联合学习的状态和即将面临的挑战，它是在分散的数据上训练机器学习模型的一种方法，可保护数据隐私。

Dec, 2022

聚合式联邦学习：通过端边云协作增强更大规模的模型训练

提出了一种新的基于 EECC 的 FL 框架 ——Agglomerative Federated Learning (FedAgg)，它实现了具有实时访问的终端 - 边缘 - 云协同的设备级扩展，通过 Bridge Sample Based Online Distillation Protocol (BSBODP) 来递归地组织计算节点，实现每对父 - 子计算节点之间的知识传递和提取，提高了性能并满足了 FL 的隐私约束和 EECC 的灵活性要求。实验证明，FedAgg 相比最先进的方法，在准确率上平均提高了 4.53％，并在收敛速度上有显著的改进。

Dec, 2023