CVPRDec, 2021

使用潜在扩散模型进行高分辨率图像合成

PDF
TL;DR通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级 DMs 对计算资源的需求。
diffusion modelsautoencodersimage synthesislatent spacecross-attention layers
发现论文，激发创造
  • 差分隐私潜在扩散模型

    研究训练以潜在空间作为输入的 LDM 的方法，与传统的 Diffusion Models 相比，通过使用预训练的自动编码器将高维像素空间降为低维潜在空间，大大提高了训练效率，并使用隐私保护的方式对不同维度的注意力模型进行训练以减少可调参数，最终的实验结果表明该方法在生成高质量合成图像时表现突出。

    May, 2023

  • 使用潜变量扩散模型进行高分辨率视频合成的对齐

    该研究将 LDM 范例应用于高分辨率视频生成中，利用图像生成器实现视频生成，利用时间维度对视频超分辨率模型进行精细调整，验证其在真实驾驶视频上的表现，且可将 LDM 应用于文本到视频模型中。

    Apr, 2023

  • 混合潜在扩散

    本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

    Jun, 2022

  • LMD：潜在蒙版扩散技术加速图像重建

    本文介绍了一种更快的图像重建框架 LMD，通过潜在遮蔽扩散方法，将高分辨率图像投影和重建在潜在空间中，设计了渐进遮蔽扩散模型，通过三种不同的调度器逐渐提高遮蔽比例，以从简单到困难地重建潜在特征，从而加快模型训练速度，同时保持了原始准确性，并在下游任务中显著提高推理速度。

    Dec, 2023

  • WildFusion：学习视角空间中的三维感知潜空扩散模型

    基于视图空间和潜在扩散模型的 3D 感知图像合成方法，通过压缩潜在表示学习图像的 3D 结构，实现高质量的 3D-consistent 图像合成，无需多视角或 3D 几何的直接监督，不依赖于规范化的相机坐标。

    Nov, 2023

  • 增强潜在扩散与流匹配

    通过将流匹配引入扩散模型和卷积解码器之间，结合扩散模型的多样性、流匹配的高效性和卷积解码器的有效性，我们实现了最先进的高分辨率图像合成。

    Dec, 2023

  • 金字塔扩散模型的超高分辨率图像合成

    Pyramid Diffusion Model (PDM) 通过金字塔潜在表示提供了更广泛的设计空间，以实现超高分辨率图像合成，结合空间通道注意力和 Res-Skip 连接，以及谱范数和递减的 Dropout 策略，使得 PDM 在生成任务方面具有更强的能力，首次成功合成了 2K 分辨率的图像。

    Mar, 2024

  • 潜在一致性模型：用少量推理步骤合成高分辨率图像

    利用潜在一致性模型（LCMs）解决迭代抽样过程在高分辨率图像合成中的计算负担和生成速度慢的问题，LCMs 通过直接预测导引反向扩散过程的 ODE 解决方案在潜空间中，实现了快速、高保真度的采样。

    Oct, 2023

  • 去噪扩散概率模型

    本文使用受非平衡热力学考虑的潜变量模型 —— 扩散概率模型，提出了高质量的图像合成结果。通过根据扩散概率模型和 Langevin 动力学的去噪得分匹配之间的新颖联系设计加权变分界限进行训练，获得了最佳结果；此外，我们的模型自然地采用渐进式有损解压缩方案，可以解释为自回归解码的一般化。在无条件的 CIFAR10 数据集上，我们获得了 9.46 的 Inception 得分和 3.17 的最先进的 FID 得分。在 256x256 LSUN 上，我们获得了与 ProgressiveGAN 相似的样本质量。

    Jun, 2020

  • 使用扩散模型进行未见图像合成

    通过使用预训练和冻结的去噪扩散概率模型 (DDPM) 来逆向编码并优化隐藏域，从未见过的域图像合成，证明了这种新颖视角探索和重新思考扩散模型的数据合成广义能力的有效性。

    Oct, 2023