May, 2024

SOEDiff:高效编辑小物体的蒸馏方法

TL;DR本文探讨了一个名为小物体编辑(SOE)的新任务,重点是在受限制的小尺寸区域内进行基于文本的图像修复。我们引入了一种新颖的以训练为基础的方法 SOEDiff,用于增强基线模型的能力,同时最小化训练成本,这包括高效地微调低秩矩阵和利用预训练教师扩散模型的高分辨率预测来提升交叉尺度得分蒸馏损失。通过在 MSCOCO 和 OpenImage 收集的测试数据集上进行实验证明了我们所提出的小物体编辑方法的有效性。与 OpenImage-f 数据集上的 SD-I 模型相比,我们观察到在 CLIP-Score 上的提升为 0.99,FID 的减少为 2.87。