基于联合元学习的表示编码的少样本故障诊断

Oct, 2023

基于联合元学习的表示编码的少样本故障诊断

Federated Meta-Learning for Few-Shot Fault Diagnosis with Representation Encoding

Jixuan Cui, Jun Li, Zhen Mei, Kang Wei, Sha Wei...

TL;DR深度学习基于故障诊断的方法在训练数据方面面临困难，但联邦学习 (Federated learning, FL) 允许多个客户端进行隐私保护的共同训练。为了解决领域差异和数据稀缺的问题，提出了一种称为基于表示编码的联邦元学习 (Representation encoding-based federated meta-learning, REFML) 的新框架，并实现了在有限训练数据情况下对未知工况或设备类型的高诊断精度。相比于 FedProx 等最先进的方法，该 REFML 框架在相同设备类型的未知工况测试中的准确性提高了 2.17%-6.50%，在完全未知设备类型的测试中的准确性提高了 13.44%-18.33%。

Abstract

deep learning-based fault diagnosis (FD) approaches require a large amount of training data, which are difficult to obtain since they are located across different entities. federated learning (FL) enables multipl

deep learning-based fault diagnosis federated learning representation encoding-based federated meta-learning few-shot fd diagnostic accuracy

发现论文，激发创造

联邦式少样本学习

本文介绍了一种新颖的问题：在联合学习场景下，如何面对数据有限的客户端。为了解决数据分布和本地数据不足等问题，提出了联合少样本学习框架，并进行了大量实验，证明了该框架的有效性。

Jun, 2023

使用对比学习方法的预训练模型联邦学习

本文提出了一种轻量级框架，使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习；我们设计了一种基于原型的对比学习（FedPCL）方法，以原型为共享信息进行知识传递，从而提高各个客户端利用现有模型的能力并保持通信效率。

Sep, 2022

联合模型异构母娃表示学习

Federated model heterogeneous Matryoshka Representation Learning (FedMRL) enables knowledge exchange and improves model learning capability in heterogeneous federated learning through representation fusion.

Jun, 2024

面向医学转录分析的联合多语言模型

该论文介绍了一个针对医学实体标注等下游任务的大规模多语言模型的联邦学习系统，它能够跨越高度异质化的数据提供者进行训练，并通过本地训练步骤进一步提高全局模型的性能。

Nov, 2022

保持特异性的联邦学习用于医学磁共振图像重建

本文提出了一种特异性保存的联邦学习算法 (FedMRI)，通过将 MR 重构模型分为全球共享的编码器和客户机特定的解码器，同时在频率空间和图像空间执行，可以在不牺牲客户机特定信息的前提下提高全球模型的泛化能力，在多机构数据上取得了最接近真实值的重建结果，并且优于现有的联邦学习方法。

Dec, 2021

DFML：分散式联邦互联学习

我们提出了一种无服务器的去中心化联邦互联模型学习（DFML）框架，通过相互学习和循环改变监督和蒸馏信号的量，有效处理模型和数据异构性，并在各种条件下，在收敛速度和全局准确性上优于流行基准。

Feb, 2024

行星探测的联邦多智能体映射

多智能体机器人探索中，联邦学习是处理分布式数据、地图表示和元初始化的有效方法。方法通过利用隐式神经映射和地球数据预训练，实现紧凑且适应性高的地图表示，在多智能体探索场景中展现强大的泛化能力。

Apr, 2024

混合分布下的联邦多任务学习

该研究提出了一种基于混合模型假设的联邦多任务学习方法，该方法可以在设备上学习个性化模型并实现客户端和服务端两种架构下的联邦 EM 算法的收敛，同时在联邦学习基准测试中获得了更高的准确性和公平性。

Aug, 2021

对比表示集成下的多模态联邦学习

CreamFL 是一个支持多模态联邦学习的框架，实现了对客户侧使用异构模型结构和数据模态，从而提高了全局模型的复杂度和数据容量，同时使用公共数据集进行知识交流，并设计了全局本地交叉模态集成策略来聚合客户端表示。同时，它还提出两种模态间和模态内对比的策略来规范本地训练以达到全局的共识性。在图像 - 文本检索和视觉问答任务上的测试结果表明，它比目前流行的联邦学习方法要更好。

Feb, 2023

基于复制树的有限数据联邦学习

在本研究中，我们提出了一种名为 RepTreeFL 的新型联邦学习框架，通过复制参与客户端的模型架构并扰动其本地数据分布的方式，在有限的数据和少数客户端的情况下，通过聚合多个具有不同数据分布的模型来实现学习。我们利用客户端网络的分层结构以及副本之间的模型差异性，引入了一种基于多样性的树聚合方法，在树状结构中组合副本，并根据模型差异性动态更新聚合权重。实验结果表明，在数据和客户端都有限的情况下，RepTreeFL 在图生成和图像分类（二分类和多分类）的两个任务和两种类型的数据中表现出良好的效果和优势。

Dec, 2023