Oct, 2023
几何消除：基于几何的扩散模型中隐含概念的去除
Geom-Erasing: Geometry-Driven Removal of Implicit Concept in Diffusion Models
Zhili Liu, Kai Chen, Yifan Zhang, Jianhua Han, Lanqing Hong...
TL;DR通过个性化数据集对扩散模型进行微调是一种被认可的方法，可以在下游任务中提高生成质量，然而，这种方法常常会无意中生成水印和 QR 码等意外概念，这是由于特定下游任务中图像来源和收集方法的限制所引起的。我们提出了一种新方法，即 methodname，通过额外的可访问分类器或检测器模型将这些概念的几何信息编码到文本域中，以成功消除隐含概念。此外，我们提出了一种新的图像 - 文本数据集，其中包含三个隐含概念（水印、QR 码和文字），用于训练和评估。实验结果表明，methodname 不仅能够识别隐含概念，还能有效消除它们，相比现有方法有了显著的改进。几何信息的整合在扩散模型中准确去除隐含概念方面取得了重要进展。