带掩码的自编码器是高效的连续联邦学习器

Jun, 2023

带掩码的自编码器是高效的连续联邦学习器

Masked Autoencoders are Efficient Continual Federated Learners

Subarnaduti Paul, Lars-Joel Frey, Roshni Kamath, Kristian Kersting, Martin Mundt

TL;DR本文探讨了在分布式环境下进行联邦持续学习的问题，通过利用共享表示和利用非特定任务的经验进行间接知识转移，提出采用遮蔽自编码器进行分布估计，以在客户端之间实现选择性知识转移。

Abstract

machine learning is typically framed from a perspective of i.i.d., and more importantly, isolated data. In parts, federated learning lifts this assumption, as it sets out to solve the real-world challenge of coll

machine learning federated learning continual learning unsupervised learning masked autoencoders

发现论文，激发创造

通过联邦学习进行异常检测

本文提出了一种新型的通过联邦学习来检测客户端服务器上有害网络活动的异常检测器，使用自编码器和分类器来判断网络活动是否良性或恶意，研究表明，联邦学习使得全局模型能够从每个客户端的数据中学习，并为每个客户端提供了改善其入侵检测系统防御网络攻击的手段。

Oct, 2022

FedMAE: 基于单块遮蔽自编码器的联邦自监督学习

本文提出了一种新的基于联邦学习的框架 FedMAE，使用联邦半监督 / 自监督学习的方法通过本地客户端的未标记的大规模图像进行预训练，并在服务器端级联多个预训练的一块 MAE 构建一个多块 ViT 来解决如何利用未标记的大规模图片进行联邦学习的问题。实验结果表明，与最先进的 FSSL 方法相比，FedMAE 取得了卓越的性能。

Mar, 2023

去中心化数据协作无监督视觉表征学习

该研究提出了一种名为 FedU 的联邦无监督学习框架，可以在保护数据隐私的同时利用去中心化的未标记图像数据学习视觉表示，并针对数据的非独立同分布问题提出了有效方法，实验证明其优于其他方法。

Aug, 2021

掩盖式自编码器是高效的类增量学习器

我们提出了使用 Masked Autoencoders (MAEs) 作为高效的学习器来解决 Class Incremental Learning (CIL) 的问题，并通过基于图像级和嵌入级融合的双边 MAE 框架获得更好质量的重建图像和更稳定的表示。实验证实了我们的方法在 CIFAR-100、ImageNet-Subset 和 ImageNet-Full 上优于现有技术。

Aug, 2023

面部识别系统中保护隐私的联邦学习方法

通过使用联邦学习（包括有和无安全聚合器）在受监督和无监督的人脸识别系统中进行训练，我们的实验结果表明联邦学习既保护了隐私又实现了与单独模型几乎相同的性能。我们的研究工作揭示了隐私保护的人脸图像训练中的实际挑战，尤其注重隐私和准确性的平衡问题。

Mar, 2024

动态采样与选择性遮蔽：用于高效通信的联合学习

本研究通过动态采样和 Top-K 选择性掩蔽这两种方法，提高了联邦学习的通信效率，并在公共数据集上进行实验，证明了该方法的有效性。

Mar, 2020

任务无关的联邦学习

应用自监督学习的联邦学习框架，通过使用 Vision Transformer 作为共识特征编码器进行无监督预训练，能够在各种真实非 IID 医学图像数据集上进行有效的表示学习，为多任务基础建模提供潜在的方法。

Jun, 2024

基于梯度蒙版的联邦学习平均化

本文提出了一种基于梯度遮蔽平均的联邦学习方法，该方法通过学习恒定的不变机制来忽略异构性数据中不同的机制，避免因为主导客户端的偏见导致的信息损失和泛化性能不佳，实验证明该方法在非独立同分布数据集上提供了一致的改进。

Jan, 2022

基于随机掩码采样的医学影像高效分布式视觉 Transformer 基础模型

该研究提出了一种基于自监督遮掩采样蒸馏方法的视觉 Transformer，它可以在不需要持续通信的情况下进行，同时使用特定于视觉 Transformer 的加密方法来增强隐私保护，经过对两种医疗数据和两种不同下游任务的广泛实验表明，该方法具有比现有的分布式学习策略和基线微调方法更好的性能，而自我监督模型可以具有对模态的一般语义理解能力，证明了其作为各种医疗任务的任务不可知基础模型的潜力，拓展了在医学领域的适用性。

Jan, 2023

利用共享表示进行个性化联邦学习

本文提出了一个新的联邦学习框架和算法，用于在客户之间学习共享的数据表示和每个客户的独特的本地头。我们的算法利用了跨客户的分布式计算能力，以便每次更新表示时进行许多针对低维本地参数的局部更新。我们证明该方法在线性设置中获得与地面实况表示的线性收敛，并获得接近最优样本复杂度，从而在每个客户端高效地降低问题维度。这个结果超出了联合学习，是一类希望在数据分布中学习共享的低维表示的问题的广泛兴趣，例如在元学习和多任务学习中。此外，广泛的实验结果显示了我们的方法在异构数据的联邦环境中相对于可选的个性化联邦学习方法的经验改进。

Feb, 2021