贪婪增长实现高分辨率像素级扩散模型

May, 2024

贪婪增长实现高分辨率像素级扩散模型

Greedy Growing Enables High-Resolution Pixel-Based Diffusion Models

Cristina N. Vasconcelos, Abdullah Rashwan Austin Waters, Trevor Walker, Keyang Xu, Jimmy Yan...

TL;DR我们提出了一种非常简单的贪婪生长方法，用于稳定训练大规模、高分辨率模型的像素级图像扩散模型，避免了级联超分辨率组件的需求。实现这一目标的关键在于仔细预训练核心组件，即负责文本到图像对齐和高分辨率渲染的组件。在利用核心模型进行扩展的基础上，我们提出了一种贪婪算法，将架构扩展到高分辨率端到端模型，同时保持预训练表示的完整性，稳定训练过程，并减少对大规模高分辨率数据集的需求。这使得我们能够生成高分辨率图像的单阶段模型，而无需超分辨率级联。我们的主要结果基于公共数据集，表明我们能够训练出高达 80 亿参数的非级联模型，而无需进一步的正则化方案。Vermeer 是我们的完整管道模型，使用内部数据集训练以生成 1024x1024 图像，在 SDXL 上，相较于人类评估者的 21.4％，它被 44.0％的评估者选择。

Abstract

We address the long-standing problem of how to learn effective pixel-based image diffusion models at scale, introducing a remarkably simple greedy growing method for stable training of large-scale, high-resolution models. without the needs for cascaded super-resolution components. The key insight stems from careful →

pixel-based image diffusion models greedy growing method large-scale high-resolution models pre-training of core components single stage model

发现论文，激发创造

一种廉价的扩展方法：用于高分辨率适应的自级联扩散模型

本文提出了一种新颖的自级联扩散模型，通过利用低分辨率模型的丰富知识快速适应高分辨率图像和视频生成，使用无需调优或廉价上采样器调优范例。该自级联扩散模型整合了一系列多尺度上采样器模块，可以有效地适应更高的分辨率，保持原始组合和生成能力。我们进一步提出了一种基于中心引导的噪声重新调度策略，以加快推理过程并提高局部结构细节。与完全微调相比，我们的方法在训练速度上提高了 5 倍，并且仅需要额外的 0.002M 调优参数。广泛的实验表明，我们的方法可以通过仅仅进行 10k 步的微调，快速适应更高分辨率的图像和视频合成，几乎不需要额外的推理时间。

Feb, 2024

ScaleCrafter：使用扩散模型进行零调节高分辨率视觉生成

通过重新扩张限制性卷积感知域以及引入分散卷积和抑噪无监督引导的方法，无需任何训练或优化，实现了超高分辨率图像生成，并解决了物体重复和不合理结构的问题，表现出卓越的性能。此外，该方法还提示了低分辨率训练模型可以直接用于高分辨率图像生成的可能性，为未来的超高分辨率图像合成研究提供了新的思路。

Oct, 2023

DiffuseHigh: 基于结构引导的无训练渐进式高分辨率图像合成

现有大规模扩散模型受限于生成 1K 分辨率图像，本文提出基于渐进方法的创新研究，在不增加额外训练成本的情况下，利用低分辨率图像辅助生成高分辨率图像，实现了对生成模型超越原有能力的探索和验证。

Jun, 2024

超像素：将超高分辨率图像合成推向新的高峰

UltraPixel 是一种新型架构，利用级联扩散模型在单一模型中生成高质量的多个分辨率（例如 1K 到 6K）的图像，同时保持计算效率。UltraPixel 利用低分辨率图像的语义丰富表示在后期去噪阶段引导高分辨率图像的整体生成，大大降低了复杂性。此外，我们引入了连续上采样和尺度感知归一化层的隐式神经表示，适用于不同的分辨率。值得注意的是，低分辨率和高分辨率处理都在最紧凑的空间中进行，与高分辨率输出相比，共享了大多数参数，只增加了不到 3％的额外参数，大大提高了训练和推断效率。我们的模型通过减少数据需求实现了快速训练，生成了照片级真实感的高分辨率图像，并在广泛的实验中展现出了卓越的性能。

Jul, 2024

级联扩散模型用于高保真图像生成

通过级联扩散模型和条件增强，我们成功的在 class-conditional ImageNet generation benchmark 上生成了高保真图像，并取得了优越的 FID scores 和分类精度。

May, 2021

上采样引导：无需训练即可扩大扩散模型规模

通过在采样过程中添加单个项，不需要额外的训练或依赖外部模型，我们提出了升采样引导技术，将预先训练的扩散模型（如 $512^2$）适应于生成更高分辨率的图像（如 $1536^2$）。我们发现合适的引导尺度选择可以改善图像质量、保真度和快速对齐。

Apr, 2024

使用潜在扩散模型和隐式神经解码器进行任意尺度图像生成和上采样

提出了一个新的方法来实现输入图像的超分辨率或从随机噪声生成任意比例的新图像，该方法通过预训练的自动编码器、隐式扩散模型和隐式神经解码器及其学习策略组成。该方法在潜空间中采用扩散过程，与 MLP 在任意比例上的解码器空间相一致，并通过固定解码器反向传播输出图像的错误，提高了输出图像的质量。在广泛的实验中，该方法在图像质量、多样性和尺度一致性等指标方面均优于相关方法，在推理速度和内存使用方面显著优于相关的最新技术。

Mar, 2024

像素递归超分辨率

该论文提出了一个像素递归超分辨率模型，可综合提高图像的分辨率并增强其真实感；该模型能够表示多模态条件分布，使用 PixelCNN 结构定义自然图像的先验知识并联合优化条件卷积网络，保持了照片的真实感。

Feb, 2017

多重网格反投影超分辨率与深度滤波器可视化

本文介绍了一种基于深度学习的图像放大方法，采用逐层递进的递归算法和迭代反向投影算法 (IBP) 对低分辨率图像进行放大处理，然后通过卷积网络的特征提取过程进行修正，使得该方法在较少参数的情况下能够达到最先进的效果。

Sep, 2018

DFU：零射术超分辨图像生成的规模鲁棒扩散模型

通过结合空间和谱域信息的双 FNO UNet 架构，我们提出了一种利用操作学习技术的新型深度学习架构，该架构可以在多个分辨率上近似计算分数算子，实现了同时训练多个分辨率的众多优势，使得 DFU 能够在没有训练数据的情况下一致、高保真地进行更高分辨率的图像生成，进一步提高了该模型的零样本超分辨率图像生成能力。

Nov, 2023