Nov, 2023

FedDiff：基于扩散模型的多模态和多客户联邦学习

PDF
TL;DR本研究提出了一种名为 FedDiff 的多模态协同扩散联邦学习框架，旨在解决多模态遥感数据融合中的安全和效率通信问题，并通过定性和定量实验证实了该框架在图像质量和条件一致性方面的超越优势。
multi-modal remote sensing data fusiondiffusion modelsdistributed multi-modal controlfederated learningimage quality
发现论文，激发创造
  • FedFusion：多星多模态深度融合驱动的联邦学习

    FedFusion 是一种基于流形的多模态融合框架，通过联合估计每个客户端的浅层特征的显著流形结构，并通过级联和加法方法将特征矩阵压缩为低秩子空间，作为后续分类器的特征输入，从而解决多卫星、多模态数据的联合融合问题。该框架在三个多模态数据集上的性能表现超过现有方法，达到 94.35% 的分类平均准确率，同时将通信成本压缩了 4 倍，并在基于 Jetson TX2 工业模块的轨道边缘计算架构上进行了广泛的真实卫星图像的数值评估，结果显示 FedFusion 将训练时间缩短了 48.4 分钟（15.18%），同时优化了准确性。

    Nov, 2023

  • CollaFuse: 协同扩散模型

    通过分布式协作扩散模型，我们提出了一种新的方法，在感知图像的同时减轻了客户端的计算负担，从而实现协作训练和数据隐私的增强。

    Jun, 2024

  • 联邦学习在分布式多模遥感档案中的应用

    本文提出了一种新颖的多模式联邦学习框架，旨在从分散的多模式遥感图像档案中学习用于遥感图像分类问题，该框架由多模式融合（MF）、特征白化（FW）和互信息最大化（MIM）三个模块组成，实验结果表明，相对于迭代模型平均（IMA），所提出的框架有效。

    Jun, 2023

  • 物联网数据上的多模态联邦学习

    本文提出一种多模态和半监督联邦学习框架，利用自编码器从不同本地数据模态中提取共享和相关表示，并使用多模态 FedAvg 算法聚合不同数据模态上训练的本地自编码器。实证结果表明，引入多模态数据可以提高联邦学习的分类性能。

    Sep, 2021

  • 多模态人脸生成与编辑的协同扩散

    本文提出了一种名为 Collaborative Diffusion 的模型，在不需要重新训练的情况下，利用多种单一模态扩展固有的单一模态扩散模型以实现多模态人脸生成和编辑。

    Apr, 2023

  • 隐私敏感视觉任务的扩散模型联邦学习

    通过实验和研究，我们发现联邦扩散模型在隐私敏感领域提供视觉服务方面具有巨大潜力。

    Nov, 2023

  • 一种使用预训练扩散模型的单次半监督联邦学习探究

    本研究引入预训练扩散模型到联邦学习中，提出了 FedDISC 方法来解决高通信成本、客户端负担和分布差异等挑战，该方法有效地解决了非独立同分布客户端上的一次半监督问题，并通过可视化证明了数据隐私的保密性。

    May, 2023

  • DDRF: 遥感图像融合的去噪扩散模型

    本篇文章将去噪扩散模型引入图像融合领域，将融合任务作为图像到图像的转换，设计两种不同的条件注入模块，即风格转换调制和小波调制，注入粗粒度风格信息和细粒度高低频信息来生成融合图像，并讨论去噪扩散模型在图像融合中的残差学习和目标函数选择。基于定量和定性评估的广泛实验结果表明，在图像融合任务中具有最先进的结果和良好的泛化性能，希望本文可以激发其他工作的灵感，并深入了解该领域，以更好地将扩散模型应用于图像融合任务。

    Apr, 2023

  • FedMM：计算病理学中具有模态异质性的联邦多模态学习

    提出并评估了一种名为 FedMM 的联邦多模态学习框架，该框架通过联邦训练多个单模态特征提取器来增强后续分类性能，以解决计算病理学中多模态信息融合的隐私问题。

    Feb, 2024

  • FedMFS：选择性模态通信的联邦多模融合学习

    本文提出了一种新的多模态融合联邦学习方法 (FedMFS)，通过利用 Shapley 值来量化每个模态的贡献和模态模型的大小来衡量通信开销，从而实现在性能与通信成本之间的灵活平衡，该方法在现实多模态数据集上的实验证明了其有效性，相比基线方法，减少了 1/20 的通信开销，同时达到可比的准确性。

    Oct, 2023