FeSViBS: 带块采样的 Transformer 视觉联邦分散学习

Jun, 2023

FeSViBS: 带块采样的 Transformer 视觉联邦分散学习

FeSViBS: Federated Split Learning of Vision Transformer with Block Sampling

Faris Almalik, Naif Alkhunaizi, Ibrahim Almakky, Karthik Nandakumar

TL;DR本文提出了一种基于 Federated Split 视觉变换器的块采样的医学图像分类任务的框架，该框架利用中间特征并将其信息内容蒸馏成伪类令牌，以增强模型的泛化能力。

Abstract

data scarcity is a significant obstacle hindering the learning of powerful machine learning models in critical healthcare applications. Data-sharing mechanisms among multiple entities (e.g., hospitals) can accele

data scarcity machine learning models federated learning split learning medical imaging classification

发现论文，激发创造

FedSIS: 面向隐私保护的联邦分布式学习中间表征采样用于广义人脸展示攻击检测

本研究通过联邦分割学习与中间表示采样实现隐私保护领域泛化，提出了一种名为 FedSIS 的新框架，采用混合的 Vision Transformer 架构，并利用中间表示采样和共享适配器网络来改善客户数据分布的统计异质性和对未知领域的泛化能力，从而实现了最先进的数据共享无域泛化性能。

Aug, 2023

一种通用高效的基于预训练图像 Transformer 的异构数据联邦分割学习方法

本研究提出了一种基于预训练图像转换器（PITs）的初始模型 FES-PIT，用于加速训练过程和提高模型的鲁棒性，并通过使用零阶优化（ZO）逼近服务器梯度的 FES-PTZO 防止梯度反转攻击，从而在现实世界数据集、不同设备参与度和异构数据分割方面对 FSL 方法与 PITs 进行了系统评估，实验证明了算法的有效性。

Mar, 2024

视觉 Transformer 遇上 CutMix：在分割学习中提高准确性、通信效率和数据隐私

本文提出了一种名为 CutMixSL 的新型分布式学习框架，旨在解决视觉 Transformer (简称 ViT) 架构中数据沟通效率低下和隐私泄露等问题。CutMixSL 可以通过随机打孔和压缩原始数据来优化 Smashed data 的通讯，实现减少通讯成本，提高准确性和可伸缩性等目标。与现有的基线方案相比，CutMixSL 的表现更优。

Jul, 2022

基于随机掩码采样的医学影像高效分布式视觉 Transformer 基础模型

该研究提出了一种基于自监督遮掩采样蒸馏方法的视觉 Transformer，它可以在不需要持续通信的情况下进行，同时使用特定于视觉 Transformer 的加密方法来增强隐私保护，经过对两种医疗数据和两种不同下游任务的广泛实验表明，该方法具有比现有的分布式学习策略和基线微调方法更好的性能，而自我监督模型可以具有对模态的一般语义理解能力，证明了其作为各种医疗任务的任务不可知基础模型的潜力，拓展了在医学领域的适用性。

Jan, 2023

SegViz：基于联邦学习的多器官分割框架，用于具有部分注释的异构数据集

提出一个基于联邦学习的框架 SegViz，此框架可从分布式的带有部分标注的数据集中训练出一个分割模型，并且在外部测试集的表现要显著优于其他基准模型和基于中央聚合的模型。

Jan, 2023

任务无关的联邦学习

应用自监督学习的联邦学习框架，通过使用 Vision Transformer 作为共识特征编码器进行无监督预训练，能够在各种真实非 IID 医学图像数据集上进行有效的表示学习，为多任务基础建模提供潜在的方法。

Jun, 2024

FedVS: 面向分割模型的容错和隐私保护垂直联邦学习

本文提出 FedVS 解决纵向联邦学习中的两个主要问题：拖延的客户端会导致性能下降；本地数据和模型的上传会导致信息泄露。FedVS 通过设计本地数据和模型的密钥分享方案，同时保证了信息论隐私并防止客户端和服务器泄露。实验证明 FedVS 在各种类型的 VFL 数据集上都具有普遍优势。

Apr, 2023

使用任务无关训练的联邦分裂视觉变压器进行 COVID-19 CXR 诊断

本文探讨了使用 Vision Transformer 在医学图像拆分学习中的应用。结果表明，该方法不仅在多源 CXR 数据分布下实现了性能，而且在 COVID-19 诊断等个体任务方面也有提高，无需在大量参数上共享大量权重，为未来实际应用奠定了基础。

Nov, 2021

纵向联邦图像分割

提出了一种创新的垂直联邦学习 (VFL) 模型架构，能够在常见情况下进行操作。通过利用一个能够处理缺少标记数据的联邦状况的 FCN, 以及与承载分类所需特征的中央服务器私密共享权重的方式，实现图像分割并保持准确性。在 CamVid 数据集上进行了测试，以确定在联邦之间传输信息所需的特征压缩的影响，并在此类约束条件下对整体性能指标作出合理的结论。

Jan, 2024

SplitFed Learning 的安全性分析

本文首次对 SplitFed 的强韧性进行了实证分析，结果表明 SplitFed 在面对模型毒化攻击时降低精度的程度是 Federated Learning 的 1/5，这是由于 SplitFed 具有较小的维度和更高的抗攻击能力。

Dec, 2022