现有大规模扩散模型受限于生成 1K 分辨率图像，本文提出基于渐进方法的创新研究，在不增加额外训练成本的情况下，利用低分辨率图像辅助生成高分辨率图像，实现了对生成模型超越原有能力的探索和验证。

Jun, 2024

本文提出了一种新颖的自级联扩散模型，通过利用低分辨率模型的丰富知识快速适应高分辨率图像和视频生成，使用无需调优或廉价上采样器调优范例。该自级联扩散模型整合了一系列多尺度上采样器模块，可以有效地适应更高的分辨率，保持原始组合和生成能力。我们进一步提出了一种基于中心引导的噪声重新调度策略，以加快推理过程并提高局部结构细节。与完全微调相比，我们的方法在训练速度上提高了 5 倍，并且仅需要额外的 0.002M 调优参数。广泛的实验表明，我们的方法可以通过仅仅进行 10k 步的微调，快速适应更高分辨率的图像和视频合成，几乎不需要额外的推理时间。

Feb, 2024

我们引入了 HiDiffusion，一个无需调参的框架，由 Resolution-Aware U-Net（RAU-Net）和 Modified Shifted Window Multi-head Self-Attention（MSW-MSA）组成，可以使预训练大型文本到图像扩散模型能够高效生成超越训练图像分辨率的高分辨率图像（例如 1024×1024），并且能够以 40％-60％的推理时间缩短，实现高分辨率图像合成的最新性能。

Nov, 2023

通过在采样过程中添加单个项，不需要额外的训练或依赖外部模型，我们提出了升采样引导技术，将预先训练的扩散模型（如 $512^2$）适应于生成更高分辨率的图像（如 $1536^2$）。我们发现合适的引导尺度选择可以改善图像质量、保真度和快速对齐。

Apr, 2024

我们提出了一种非常简单的贪婪生长方法，用于稳定训练大规模、高分辨率模型的像素级图像扩散模型，避免了级联超分辨率组件的需求。实现这一目标的关键在于仔细预训练核心组件，即负责文本到图像对齐和高分辨率渲染的组件。在利用核心模型进行扩展的基础上，我们提出了一种贪婪算法，将架构扩展到高分辨率端到端模型，同时保持预训练表示的完整性，稳定训练过程，并减少对大规模高分辨率数据集的需求。这使得我们能够生成高分辨率图像的单阶段模型，而无需超分辨率级联。我们的主要结果基于公共数据集，表明我们能够训练出高达 80 亿参数的非级联模型，而无需进一步的正则化方案。Vermeer 是我们的完整管道模型，使用内部数据集训练以生成 1024x1024 图像，在 SDXL 上，相较于人类评估者的 21.4％，它被 44.0％的评估者选择。

May, 2024

从高分辨率图像生成、降低重复模式和结构变形等问题出发，本研究通过引入频域分析的无需训练的创新方法 FouriScale 来解决这些挑战。通过替换预训练扩散模型中的原始卷积层，并结合扩张技术和低通操作，以实现结构一致性与比例一致性。通过填充和裁剪策略对其进行进一步增强，我们的方法能够灵活地处理各种纵横比的文本图像生成。通过 FourScale 的指导，我们的方法成功地平衡了生成图像的结构完整性和保真度，实现了任意大小、高分辨率、高质量的生成，并为未来超高分辨率图像合成的探索提供了有价值的见解。

Mar, 2024

通过使用预训练的 UNet（或 transformer）扩散模型仅需适量的目标数据（甚至只有合成数据），在基础视觉感知任务中能够实现出色的可传递性表现，包括单眼深度、表面法线、图像分割、抠图、人体姿势估计等。

Mar, 2024

本研究旨在提高扩散模型在逼真图像修复中的适用性，特别是在网络架构、噪声水平、降噪步骤、训练图像大小和优化器 / 调度器等多个方面进行改进。我们展示了调节这些超参数可以在失真和感知得分上实现更好的性能，并提出了基于 U-Net 的潜在扩散模型。与以前的潜在扩散模型相比，我们提出的 U-Net 压缩策略更稳定，而且不依赖敌对性优化就能恢复高度准确的图像。我们的模型 Refusion 能够处理大尺寸图像，包括真实世界的阴影去除、HR 不均匀去雾、立体超分辨率和景深效果转换，并在 NTIRE 2023 图像阴影去除挑战赛中获得最佳感知性能和第二名。

Apr, 2023

本文介绍了一种新的方法，利用预先训练的文本到图像扩散模型中所包含的先前知识来实现盲超分辨率，并通过引入可控特征包装模块和渐进聚合采样策略来克服扩散模型固定尺寸的限制，实现对任何大小分辨率的适应，并在综合评估中展示了该方法在超分辨率领域的优越性。

May, 2023

该研究提出了一种创新的增强扩散模型的方法，通过整合新颖的多分辨率网络和时间相关的层归一化，以提高高保真图像生成的有效性。

Jun, 2024