CollaFuse: 协同扩散模型

Jun, 2024

CollaFuse: Collaborative Diffusion Models

Simeon Allmendinger, Domenique Zipperling, Lukas Struppek, Niklas Kühl

TL;DR通过分布式协作扩散模型，我们提出了一种新的方法，在感知图像的同时减轻了客户端的计算负担，从而实现协作训练和数据隐私的增强。

Abstract

In the landscape of generative artificial intelligence, diffusion-based models have emerged as a promising method for generating synthetic images. However, the application of diffusion models poses numerous challenges, particularly concerning data availability, computational requiremen

generative artificial intelligence diffusion-based models distributed collaborative diffusion models image synthesis privacy

发现论文，激发创造

隐私敏感视觉任务的扩散模型联邦学习

通过实验和研究，我们发现联邦扩散模型在隐私敏感领域提供视觉服务方面具有巨大潜力。

Nov, 2023

FedDiff：基于扩散模型的多模态和多客户联邦学习

本研究提出了一种名为 FedDiff 的多模态协同扩散联邦学习框架，旨在解决多模态遥感数据融合中的安全和效率通信问题，并通过定性和定量实验证实了该框架在图像质量和条件一致性方面的超越优势。

Nov, 2023

从扩散模型获取训练数据

本文研究了图像扩散模型，如 DALL-E 2，Imagen 和 Stable Diffusion，发现它们从训练数据中记忆单个图像并在生成时发射此类图像，总结了此类模型的隐私风险和影响隐私保护培训的新进展。

Jan, 2023

多模态人脸生成与编辑的协同扩散

本文提出了一种名为 Collaborative Diffusion 的模型，在不需要重新训练的情况下，利用多种单一模态扩展固有的单一模态扩散模型以实现多模态人脸生成和编辑。

Apr, 2023

使用联邦学习训练扩散模型

我们提出了一种联合扩散模型方案，可以在不暴露本地数据的情况下独立和协作地训练扩散模型。通过对底层 UNet 骨干网的新颖利用，我们实现了在训练过程中参数交换数量的显著降低，最多可达 74％，而同时仍能保持与中心化设置相当的图像质量，依据 FID 分数评估。

Jun, 2024

DiffCollage: 基于扩散模型的大规模内容并行生成

DiffCollage 是一种基于组合性扩散模型的方法，可以生成大量内容，并将其应用于图像生成、文本生成等各种任务。

Mar, 2023

基于扩散模型的数据扩充技术

DistDiff 是一种基于分布感知扩散模型的有效数据扩充框架，通过构建分层原型来逼近真实数据分布，优化扩散模型中的潜在数据点，实现生成与目标分布一致的样本，从而在数据扩充任务中取得显著的改进。

Mar, 2024

一种使用预训练扩散模型的单次半监督联邦学习探究

本研究引入预训练扩散模型到联邦学习中，提出了 FedDISC 方法来解决高通信成本、客户端负担和分布差异等挑战，该方法有效地解决了非独立同分布客户端上的一次半监督问题，并通过可视化证明了数据隐私的保密性。

May, 2023

Phoenix：联邦式生成扩散模型

本文提出了一种新颖的基于联邦学习技术在多个数据源上训练去噪扩散概率模型的方法，已证明在保持数据多样性，保护隐私和减少数据源之间通信方面优于默认的扩散模型，并提供了一些新的可能性。

Jun, 2023

一次性联邦学习与分类器引导的扩散模型

使用扩散模型，在一次联邦学习中引入了指导性生成数据，避免了现实场景中常见的辅助数据集或训练生成器的障碍。该方法针对异构客户模型和非独立同分布的特征或标签问题，有效处理隐私保护并在一些情况下超越集中式训练的性能上限，从而形成性能更高的聚合模型。

Nov, 2023