扩散模型生成如画家一样的图像:线条先行,细节随后的分析理论
通过可视化分析和实验结果,我们提出并回答三个研究问题,从可视概念和模型关注的区域的角度解释扩散过程,展示了在扩散过程中输出如何逐渐生成,通过不同时间步骤中的噪声去除程度和与基础可视概念之间的关系强调了可视概念的变化水平,从而为了解扩散机制提供了见解,并为进一步研究提供了奠基。
Feb, 2024
本综述为关于应用于计算机视觉的去噪扩散模型文章提供了全面的回顾,包括在领域中的理论和实际贡献,提供了三种通用扩散建模框架,并介绍了扩散模型与其他深度生成模型之间的关系,并引入了在计算机视觉中应用扩散模型的多个视角分类,最后,我们说明了离散模型的当前限制并预见了未来研究的一些有趣方向。
Sep, 2022
本文提出了一种基于扩散算法生成图像的模型,将前向热方程的解释为噪声后的扩散潜变量模型的变分近似。其具有整体颜色和形状解耦的性质,同时通过自然图像上的谱分析,揭示了其暗含的自上而下的归纳偏置。
Jun, 2022
本文探讨了使用一种单一的预训练阶段进行生成性和判别性任务的统一表征学习器 —— 扩散模型,并发现这种模型在图像分类任务中具有优异的性能,特别是在经过精心特征选择和池化的情况下,扩散模型明显优于 BigBiGAN 等其他可比较的生成 - 判别方法
Jul, 2023
通过稳定的扩散实验,我们发现初始图像中的像素块倾向于生成特定的内容,我们通过修改它们可以显著影响生成的图像,这种影响只影响特定的区域,而不影响其他区域,这对于重绘任务非常有用。我们发现像素块的生成偏好主要由其值而不是位置决定,通过将具有生成用户所需内容倾向的像素块移动到用户指定的区域,我们的方法在布局到图像生成方面实现了最先进的性能,我们的结果凸显了初始图像操作在控制生成图像方面的灵活性和能力。
May, 2023
调查论文对使用扩散模型进行图像编辑的现有方法进行了全面的概述,包括理论和实践方面,并从多个角度对这些作品进行了彻底分析和分类,介绍了学习策略、用户输入条件以及可以实现的特定编辑任务的组合。此外,对图像修复和扩展进行了特别关注,并探讨了早期的传统上下文驱动方法和当前的多模态条件方法,全面分析了它们的方法论。最后,讨论当前的限制并展望未来的研究方向。
Feb, 2024
本文研究了图像扩散模型,如 DALL-E 2,Imagen 和 Stable Diffusion,发现它们从训练数据中记忆单个图像并在生成时发射此类图像,总结了此类模型的隐私风险和影响隐私保护培训的新进展。
Jan, 2023
本文研究了扩散模型的几何属性,介绍了生成率的概念和利用不同可微的方案估计生成率的方法,并提出了一种生成曲线匹配算法,为多种图像处理任务提供了统一框架,结果表明与最近的基线方法相比,我们的方法始终能产生更好的处理效果。
Jun, 2024