Jun, 2024
贝叶斯助力转向:扩散模型领域自适应的有效方法
Bayesian Power Steering: An Effective Approach for Domain Adaptation of Diffusion Models
Ding Huang, Ting Li, Jian Huang
TL;DR我们提出了一种贝叶斯框架,用于通过一种名为贝叶斯动力转向(BPS)的新型网络结构对大规模扩散模型进行微调。BPS 从预训练模型的学习先验分布中提取任务特定的知识,通过头重脚轻的配置差异地介入不同的隐藏特征。实验证明,即使在有限的数据量下,BPS 在各种任务上均优于现有方法,特别是在 COCO17 数据集的素描条件下,BPS 达到了 10.49 的 FID 得分。