Jan, 2024
解构用于自监督学习的去噪扩散模型
Deconstructing Denoising Diffusion Models for Self-Supervised Learning
Xinlei Chen, Zhuang Liu, Saining Xie, Kaiming He
TL;DR我们研究了最初用于图像生成的去噪扩散模型（DDM）的表示学习能力。我们的研究目的是逐步分解 DDM，将其转化为经典的去噪自编码器（DAE）。我们观察到现代 DDM 的很少组件对于学习良好的表示是至关重要的，而许多其他组件则不是必要的。我们的研究最终提出了一种高度简化并在很大程度上类似于经典 DAE 的方法。我们希望我们的研究能够在现代自监督学习领域重新激发对经典方法家族的兴趣。