语言引导的联邦多标签分类的 Transformer

AAAIDec, 2023

语言引导的联邦多标签分类的 Transformer

Language-Guided Transformer for Federated Multi-Label Classification

I-Jieh Liu, Ci-Siang Lin, Fu-En Yang, Yu-Chiang Frank Wang

TL;DR提出了一种用于多标签分类的新型联邦学习框架（FedLGT），旨在解决用户异构性和标签相关性等挑战，通过在不同客户端之间传递知识来学习出稳健的全局模型，实验证明在多标签联邦学习场景下超过了标准联邦学习技术，并获得了令人满意的性能。

Abstract

federated learning (FL) is an emerging paradigm that enables multiple users to collaboratively train a robust model in a privacy-preserving manner without sharing their private data. Most existing approaches of FL only consider traditional single-label image classification, ignoring th

federated learning multi-label image classification user heterogeneity language-guided transformer satisfactory performance

发现论文，激发创造

面向医学转录分析的联合多语言模型

该论文介绍了一个针对医学实体标注等下游任务的大规模多语言模型的联邦学习系统，它能够跨越高度异质化的数据提供者进行训练，并通过本地训练步骤进一步提高全局模型的性能。

Nov, 2022

朝着联邦学习中的多模态 Transformer

在视觉语言领域中，通过利用转换器架构对现有方法进行系统评估，并引入一种名为 FedCola 的新框架，填补了关于不配对的单模客户端和 FL 中转换器架构的研究空白。通过在各种 FL 设置下进行广泛实验，FedCola 展示了优于先前方法的性能，为未来多模态转换器的联邦训练提供了新的观点。

Apr, 2024

基于 Transformer 的联合学习用于多标签遥感影像分类

通过研究最先进的转换器架构（即 MLP-Mixer、ConvMixer、PoolFormer）在非独立和非同分布的训练数据上实现联合学习，针对遥感中的多标签分类问题，在不同非独立和非同分布程度下，比较了这些转换器架构在训练数据异质性、局部训练复杂性和聚合复杂性方面的性能，实验结果表明这些架构在增加泛化能力的同时增加了局部训练和聚合复杂性，为选择适用于遥感多标签分类领域的转换器架构提供了指导。

May, 2024

增强大规模异质联邦学习的展望与转换器

分布式数据合作的联邦学习旨在解决数据隐私问题，该研究通过比较实验证明基于 Transformer 的联邦学习模型在大规模异构任务中具有泛化和个性化方面的优势。

Aug, 2023

GPT-FL: 基于生成式预训练模型的联邦学习

本文提出了一个基于生成式预训练模型辅助联邦学习框架的 GPT-FL 方法，在提高通信效率和客户抽样效率的同时，优化梯度多样性来增强模型收敛速度和提高模型测试准确性。

Jun, 2023

FedMT：混合标签联邦学习

本文提出了面向混合标签的联邦学习方法，旨在解决不同中心之间标签的空间不匹配问题，并结合不同联邦学习方法，通过过参数化 ReLU 网络实现线性收敛的标签投影，通过基准和医学数据集验证理论分析的有效性。

Oct, 2022

联邦迁移学习综述：挑战、方法与应用

联邦学习（FL）是一种新颖的分布式机器学习范式，通过消除数据共享要求，使参与者能够协同训练中央模型并保护隐私。联邦学习涉及多个参与者，并要求第三方汇总全局信息以指导目标参与者的更新。为解决此问题，联邦迁移学习（FTL）吸引了众多研究者的关注。本综述聚焦于对当前联邦迁移学习进展的分类和综述，并概述相关解决方案和应用。

Mar, 2024

联邦学习：应用、挑战和未来方向

本文提供了关于联邦学习的概述，并重点关注医疗保健领域。通过中央协调器服务器共享全局深度学习模型，解决了隐私保护需求并探讨了联邦学习遇到的挑战和未来发展方向，其中使用多方计算、同态加密、差分隐私和随机梯度下降等多种隐私方法。

May, 2022

具有群组感知提示调整的异构联邦学习

在联邦学习中，我们利用预训练的 Transformer 和高效的提示调整策略，通过引入学习共享和组特定提示的概念，使全局模型能够自动适应各种局部客户数据分布，从而有效地弥合全局和个性化本地模型之间的差距，并超越以往无法适应之前未见客户的其他方法。

Oct, 2023

FedLoGe: 长尾数据下的联合局部与通用联邦学习

本研究提出了一种名为 FedLoGe 的方法，通过在神经坍塌框架中集成表示学习和分类器对齐，提高了本地和通用模型的性能，从而加强了分布式长尾学习中全局模型和本地模型的表现。

Jan, 2024