潜在扩散模型下的创意绘画
通过在预训练的自编码器的潜在空间中应用扩散模型,引入交叉注意力层到模型体系结构中,以更少的计算要求取得接近最优的性能,实现高分辨率合成,缩小像素级 DMs 对计算资源的需求。
Dec, 2021
本研究介绍了一种基于文本的图像编辑方法,利用最新的扩散模型对一些基于文本主题的地方图像进行编辑,通过结合扩散模型的速度和 Blended Diffusion,提高了编辑的效率,并通过优化方法来解决扩散模型无法完美重建图像的问题,实现了比当前方法更高的精度和速度
Jun, 2022
研究训练以潜在空间作为输入的 LDM 的方法,与传统的 Diffusion Models 相比,通过使用预训练的自动编码器将高维像素空间降为低维潜在空间,大大提高了训练效率,并使用隐私保护的方式对不同维度的注意力模型进行训练以减少可调参数,最终的实验结果表明该方法在生成高质量合成图像时表现突出。
May, 2023
本文介绍了一种更快的图像重建框架 LMD,通过潜在遮蔽扩散方法,将高分辨率图像投影和重建在潜在空间中,设计了渐进遮蔽扩散模型,通过三种不同的调度器逐渐提高遮蔽比例,以从简单到困难地重建潜在特征,从而加快模型训练速度,同时保持了原始准确性,并在下游任务中显著提高推理速度。
Dec, 2023
本文提出了一种基于潜在扩散模型的工具 Diffusion Brush,用于对人工智能合成的图像进行高效的局部微调,在保留图像原始内容的同时,引入新的随机噪声模式以定位特定区域,通过与其他图像修复技术和编辑软件的比较,验证了我们这种方法的可用性和有效性。
May, 2023
潜在扩散器是生成 AI 的革命,并激发创造性艺术。本研究介绍了使用潜在空间作为画布,以及扩散器预测作为计划,以生成绘画动画的潜在画家。潜在画家还可以在两组不同检查点的图像之间进行过渡。
Aug, 2023
基于视图空间和潜在扩散模型的 3D 感知图像合成方法,通过压缩潜在表示学习图像的 3D 结构,实现高质量的 3D-consistent 图像合成,无需多视角或 3D 几何的直接监督,不依赖于规范化的相机坐标。
Nov, 2023
通过研究不同归纳偏差对潜在扩散模型 (Latent Diffusion Models, LDMs) 的潜在空间的影响,我们发现具有减少冗余和基于原型的正则化的 LDM 几乎能够产生接近于人类的图画,使其在样本的可识别性和原创性方面更好地模拟了人类感知(根据心理物理评估),这表明人类与机器在一次性绘图方面的差距几乎已经拉近。
Jun, 2024