Jun, 2024

贝叶斯助力转向:扩散模型领域自适应的有效方法

TL;DR我们提出了一种贝叶斯框架,用于通过一种名为贝叶斯动力转向(BPS)的新型网络结构对大规模扩散模型进行微调。BPS 从预训练模型的学习先验分布中提取任务特定的知识,通过头重脚轻的配置差异地介入不同的隐藏特征。实验证明,即使在有限的数据量下,BPS 在各种任务上均优于现有方法,特别是在 COCO17 数据集的素描条件下,BPS 达到了 10.49 的 FID 得分。