基于 Transformer 的联合学习用于多标签遥感影像分类

May, 2024

基于 Transformer 的联合学习用于多标签遥感影像分类

Transformer-based Federated Learning for Multi-Label Remote Sensing Image Classification

Barış Büyüktaş, Kenneth Weitzel, Sebastian Völkers, Felix Zailskas, Begüm Demir

TL;DR通过研究最先进的转换器架构（即 MLP-Mixer、ConvMixer、PoolFormer）在非独立和非同分布的训练数据上实现联合学习，针对遥感中的多标签分类问题，在不同非独立和非同分布程度下，比较了这些转换器架构在训练数据异质性、局部训练复杂性和聚合复杂性方面的性能，实验结果表明这些架构在增加泛化能力的同时增加了局部训练和聚合复杂性，为选择适用于遥感多标签分类领域的转换器架构提供了指导。

Abstract

federated learning (FL) aims to collaboratively learn deep learning model parameters from decentralized data archives (i.e., clients) without accessing training data on clients. However, the training data across clients might be not independent and identically distributed (non-IID), wh

federated learning transformer architectures non-iid training data multi-label classification remote sensing

发现论文，激发创造

基于分散且未共享的档案的遥感影像分类的联邦学习

该研究首次在遥感领域对当前最先进的联邦学习算法进行了比较研究，通过系统回顾计算机视觉社区中面向图像分类问题的联邦学习算法，并基于其与客户端之间训练数据异构性的有效性进行选择，对所选算法进行理论比较，并在多样化的分散化情境下通过实验分析其在多标签分类问题上的表现，从而为在遥感领域选择合适的联邦学习算法提供一份指南。

Nov, 2023

联邦学习在分布式多模遥感档案中的应用

本文提出了一种新颖的多模式联邦学习框架，旨在从分散的多模式遥感图像档案中学习用于遥感图像分类问题，该框架由多模式融合（MF）、特征白化（FW）和互信息最大化（MIM）三个模块组成，实验结果表明，相对于迭代模型平均（IMA），所提出的框架有效。

Jun, 2023

语言引导的联邦多标签分类的 Transformer

提出了一种用于多标签分类的新型联邦学习框架（FedLGT），旨在解决用户异构性和标签相关性等挑战，通过在不同客户端之间传递知识来学习出稳健的全局模型，实验证明在多标签联邦学习场景下超过了标准联邦学习技术，并获得了令人满意的性能。

Dec, 2023

通过架构设计处理联邦视觉识别中的数据异构性

联邦学习是一种有前途的研究范式，可以在各方之间进行机器学习模型的协作训练，而无需进行敏感信息交换。本研究对应用于视觉识别的联邦学习进行了广泛的回顾，强调深思熟虑的架构设计选择在实现最佳性能方面的重要作用。通过对各种先进架构的深入分析，我们实验证明了架构选择可以显著提高联邦学习系统的性能，尤其是在处理异构数据时。同时，我们研究了来自五个不同架构系列的 19 个视觉识别模型在四个具有挑战性的联邦学习数据集上的性能，重新调查了卷积架构在联邦学习环境中的劣势表现，并分析了规范化层对联邦学习性能的影响。我们的研究结果强调了在实际场景中的计算机视觉任务中架构设计的重要性，有效地缩小了联邦学习和集中学习之间的性能差距。

Oct, 2023

增强大规模异质联邦学习的展望与转换器

分布式数据合作的联邦学习旨在解决数据隐私问题，该研究通过比较实验证明基于 Transformer 的联邦学习模型在大规模异构任务中具有泛化和个性化方面的优势。

Aug, 2023

基于 Transformer 的多模态学习用于多标签遥感图像分类

介绍了一种新的带有同步类令牌融合（SCT Fusion）的架构，用于处理多模态遥感（RS）图像的多模态多标签分类（MLC），该架构利用了模态特定的注意力机制，通过在每个变压器编码器块之后同步类令牌实现跨模态交换信息。

Jun, 2023

基于联邦学习的深度学习磁共振图像重建的多机构合作

本研究提出了一种针对磁共振图像重建的联邦学习解决方案，该方案利用了不同机构可用的磁共振数据，同时保护了患者隐私；为了克服因使用多个机构数据而产生的域移位，提出了一种跨站点建模方法，实验结果表明该方法有望在不影响患者隐私的前提下提高磁共振图像重建的效果。

Mar, 2021

多联邦学习：使用分散的联邦学习处理包容性非独立同分布数据

多联邦学习是一个去中心化的联邦学习框架，旨在解决非独立同分布数据的问题，并通过维护多个模型并行进行收敛，以增强适应性。

Apr, 2024

朝着联邦学习中的多模态 Transformer

在视觉语言领域中，通过利用转换器架构对现有方法进行系统评估，并引入一种名为 FedCola 的新框架，填补了关于不配对的单模客户端和 FL 中转换器架构的研究空白。通过在各种 FL 设置下进行广泛实验，FedCola 展示了优于先前方法的性能，为未来多模态转换器的联邦训练提供了新的观点。

Apr, 2024

任务无关的联邦学习

应用自监督学习的联邦学习框架，通过使用 Vision Transformer 作为共识特征编码器进行无监督预训练，能够在各种真实非 IID 医学图像数据集上进行有效的表示学习，为多任务基础建模提供潜在的方法。

Jun, 2024