Mar, 2024

FouriScale: 高分辨率图像合成的频率视角

PDF
TL;DR从高分辨率图像生成、降低重复模式和结构变形等问题出发，本研究通过引入频域分析的无需训练的创新方法 FouriScale 来解决这些挑战。通过替换预训练扩散模型中的原始卷积层，并结合扩张技术和低通操作，以实现结构一致性与比例一致性。通过填充和裁剪策略对其进行进一步增强，我们的方法能够灵活地处理各种纵横比的文本图像生成。通过 FourScale 的指导，我们的方法成功地平衡了生成图像的结构完整性和保真度，实现了任意大小、高分辨率、高质量的生成，并为未来超高分辨率图像合成的探索提供了有价值的见解。
发现论文，激发创造
  • ScaleCrafter：使用扩散模型进行零调节高分辨率视觉生成

    通过重新扩张限制性卷积感知域以及引入分散卷积和抑噪无监督引导的方法，无需任何训练或优化，实现了超高分辨率图像生成，并解决了物体重复和不合理结构的问题，表现出卓越的性能。此外，该方法还提示了低分辨率训练模型可以直接用于高分辨率图像生成的可能性，为未来的超高分辨率图像合成研究提供了新的思路。

    Oct, 2023

  • DiffuseHigh: 基于结构引导的无训练渐进式高分辨率图像合成

    现有大规模扩散模型受限于生成 1K 分辨率图像，本文提出基于渐进方法的创新研究，在不增加额外训练成本的情况下，利用低分辨率图像辅助生成高分辨率图像，实现了对生成模型超越原有能力的探索和验证。

    Jun, 2024

  • 多尺度扩散频域精化超分辨率

    提出了一种新颖的基于频域引导的多尺度扩散模型（FDDiff），该模型通过细化的步骤将高频信息的补充过程分解为更精细的步骤，使用小波包频域链提供多尺度的中间目标，以逐步补充缺失的高频细节，并利用多尺度频率细化网络在一个统一的网络中预测所需的多尺度高频成分，通过对流模型在图像超分辨率任务中生成高质量图像，并在广泛的评估中展示了其优于先前的生成方法的结果。

    May, 2024

  • 高分辨率图像合成的任意分辨率训练

    研究表明，变化尺寸的数据可以更好地利用多分辨率训练，新的基于连续比例尺的训练方法可使用原始分辨率大小的图像数据和连续坐标取样生成高分辨率图像，并在自然图像数据集上获得更好的实验结果。

    Apr, 2022

  • 一种廉价的扩展方法：用于高分辨率适应的自级联扩散模型

    本文提出了一种新颖的自级联扩散模型，通过利用低分辨率模型的丰富知识快速适应高分辨率图像和视频生成，使用无需调优或廉价上采样器调优范例。该自级联扩散模型整合了一系列多尺度上采样器模块，可以有效地适应更高的分辨率，保持原始组合和生成能力。我们进一步提出了一种基于中心引导的噪声重新调度策略，以加快推理过程并提高局部结构细节。与完全微调相比，我们的方法在训练速度上提高了 5 倍，并且仅需要额外的 0.002M 调优参数。广泛的实验表明，我们的方法可以通过仅仅进行 10k 步的微调，快速适应更高分辨率的图像和视频合成，几乎不需要额外的推理时间。

    Feb, 2024

  • FreeDiff: 基于扩散模型的图像编辑的递进频率截断

    通过频率截断的方法，我们提出了一种新颖的 fine-tuning 自由方法用于改善扩散模型的引导，从而实现了在各种编辑任务和不同图像集上与最先进方法相媲美的结果，突显了它在图像编辑应用中的多功能潜力。

    Apr, 2024

  • DFU：零射术超分辨图像生成的规模鲁棒扩散模型

    通过结合空间和谱域信息的双 FNO UNet 架构，我们提出了一种利用操作学习技术的新型深度学习架构，该架构可以在多个分辨率上近似计算分数算子，实现了同时训练多个分辨率的众多优势，使得 DFU 能够在没有训练数据的情况下一致、高保真地进行更高分辨率的图像生成，进一步提高了该模型的零样本超分辨率图像生成能力。

    Nov, 2023

  • 图像重建与合成的焦点频率损失

    本研究展示了狭窄频率域中缩小误差能够进一步改善图像重建和合成质量，提出了新的焦点频率损失函数并在多种流行的模型中展示其作用，同时对 StyleGAN2 的潜在性进行了探讨。

    Dec, 2020

  • 贪婪增长实现高分辨率像素级扩散模型

    我们提出了一种非常简单的贪婪生长方法，用于稳定训练大规模、高分辨率模型的像素级图像扩散模型，避免了级联超分辨率组件的需求。实现这一目标的关键在于仔细预训练核心组件，即负责文本到图像对齐和高分辨率渲染的组件。在利用核心模型进行扩展的基础上，我们提出了一种贪婪算法，将架构扩展到高分辨率端到端模型，同时保持预训练表示的完整性，稳定训练过程，并减少对大规模高分辨率数据集的需求。这使得我们能够生成高分辨率图像的单阶段模型，而无需超分辨率级联。我们的主要结果基于公共数据集，表明我们能够训练出高达 80 亿参数的非级联模型，而无需进一步的正则化方案。Vermeer 是我们的完整管道模型，使用内部数据集训练以生成 1024x1024 图像，在 SDXL 上，相较于人类评估者的 21.4％，它被 44.0％的评估者选择。

    May, 2024

  • 弹性扩散：无需训练的任意尺寸图像生成

    通过 ElasticDiffusion 这种新的无需训练的解码方法，将预训练的文本到图像扩散模型能够生成不同尺寸的图像。

    Nov, 2023