Oct, 2024

重新思考隐含高斯结构以理解扩散模型的泛化能力

TL;DR本研究探讨了扩散模型的泛化能力,聚焦于学习到的评分函数的隐含特性。我们发现,在从记忆到泛化的转变过程中,非线性扩散去噪器表现出越来越强的线性特征,这一发现表明扩散模型在生成数据时倾向于捕捉训练数据集的高斯结构。