Mar, 2024

ResAdapter：扩散模型中的域一致分辨率适配器

PDF
TL;DR通过解决训练领域外分辨率图片生成的困境，我们提出了 Resolution Adapter (ResAdapter)，一个专门为扩散模型设计的领域一致适配器，以生成无限分辨率和宽高比的图片。与其他多分辨率生成方法不同，ResAdapter 直接生成动态分辨率的图片，并在学习了纯分辨率先验知识后，通过与个性化扩散模型配合生成无限分辨率的图片，同时保留其原始风格。全面的实验证明，只需 0.5M 的 ResAdapter 便能处理可灵活设置分辨率的图片，与其他模块兼容，并可集成到其他多分辨率模型中，高效地生成更高分辨率的图片。
text-to-image modelsresolution adapterdiffusion modelsresolution-free imagesflexible resolutions
发现论文，激发创造
  • 潜在空间中的领域转移（DTLS）能在图像超分辨率中取得胜利 - 一种非降噪模型

    本文提出了一种简单的方法来进行高效图像超分辨率，该方法采用了扩散模型的基本结构，通过建立领域之间的转移关系，学习统计特性的差异以促进逐步插值，并通过参考输入的 LR 图像对转移领域进行条件控制，实验结果表明，该方法不仅优于最先进的大规模超分辨率模型，也优于当前的扩散模型，此方法可以方便地扩展到其他图像到图像的任务，如图像增强、修复、去噪等。

    Nov, 2023

  • ResMaster: 通过结构和细粒度指导实现高分辨率图像生成

    ResMaster 是一种无需训练的方法，用于提高分辨率受限的扩散模型生成高质量图像的能力，通过低分辨率参考图像为高分辨率图像提供结构和细致的引导，能够显著减轻局部模式失真并改善细节精化。

    Jun, 2024

  • 中继扩散：跨分辨率统一图像合成扩散过程

    通过离散余弦变换的角度看，高分辨率产生图像的主要挑战在于 “在频率域中，相同的噪声水平在更高分辨率下会导致更高的信噪比”；本论文提出了中继扩散模型 (Relay Diffusion Model, RDM)，通过模糊扩散和块噪声将低分辨率图像或噪声转换为等效的高分辨率图像，使扩散过程能够在任意新分辨率或模型中无缝地继续进行，而无需从纯噪声或低分辨率条件重新启动；RDM 在 CelebA-HQ 的 FID 和 ImageNet 256x256 的 sFID 上取得了领先的成绩，明显超过 ADM、LDM 和 DiT 等之前的工作。

    Sep, 2023

  • 使用残差适配器学习多个视觉领域

    该论文介绍了一种利用适配器残模块进行数据表示学习的深度网络架构，该网络能够被灵活地指引至不同的视觉领域中，实现了高度的参数共享并保持或提高了特定领域表示的准确性。同时，该论文还提出了 Visual Decathlon Challenge 基准评测系统，用于同时评估表征的能力并测量其识别不同领域的能力。

    May, 2017

  • SUR-adapter：使用大型语言模型增强文本到图像预训练扩散模型

    该研究探讨了如何改进文本生成图像的模型的问题，提出了一种称为 Semantic Understanding and Reasoning adapter (SUR-adapter) 的参数高效微调方法，以提高短文本输入的语义理解和常识推理能力，进而用提高的文本语义表征生成高质量图像。

    May, 2023

  • 像素适配器：基于图的场景文本图像超分辨率后处理方法

    当前的场景文本图像超分辨率方法主要关注于提取稳健特征、获取文本信息和复杂的训练策略以生成超分辨率图像。然而，现有的方法很少关注将低分辨率图像转换为高分辨率图像过程中至关重要的上采样模块。为了解决这个问题，我们提出了基于图注意力的像素适配器模块（Pixel Adapter Module，PAM），用于解决上采样引起的像素失真问题。与以往的图注意力机制不同的是，我们的方法通过消除对稀疏邻接矩阵的依赖，引入滑动窗口的方法进行有效并行计算，从而实现了效率和内存利用率的 2-3 个数量级的改进。此外，我们引入了基于 MLP 的连续残差块（MSRB）用于从文本图像中提取稳健特征，并引入了局部轮廓感知损失（LCA 损失）来增强模型对细节的感知能力。在 TextZoom 上的综合实验证明，我们的方法生成了高质量的超分辨率图像，超过了现有方法在识别准确性上的表现。对于单阶段和多阶段策略，我们分别实现了 0.7% 和 2.6% 的改进，将性能从 52.6% 和 53.7% 提高到 53.3% 和 56.3%。这里是代码的链接：this https URL

    Sep, 2023

  • 一种廉价的扩展方法：用于高分辨率适应的自级联扩散模型

    本文提出了一种新颖的自级联扩散模型，通过利用低分辨率模型的丰富知识快速适应高分辨率图像和视频生成，使用无需调优或廉价上采样器调优范例。该自级联扩散模型整合了一系列多尺度上采样器模块，可以有效地适应更高的分辨率，保持原始组合和生成能力。我们进一步提出了一种基于中心引导的噪声重新调度策略，以加快推理过程并提高局部结构细节。与完全微调相比，我们的方法在训练速度上提高了 5 倍，并且仅需要额外的 0.002M 调优参数。广泛的实验表明，我们的方法可以通过仅仅进行 10k 步的微调，快速适应更高分辨率的图像和视频合成，几乎不需要额外的推理时间。

    Feb, 2024

  • X-Adapter：增加插件对升级扩散模型的通用兼容性

    通过使用 X-Adapter，我们成功实现了升级后的文本到图像扩散模型（如 SDXL）与预训练的即插即用模块（如 ControlNet、LoRA）直接配合工作，无需进一步的重新训练。我们通过训练额外的网络来控制冻结的升级模型，使用新的文本 - 图像数据对进行指导，同时保留不同版本插件的连接器，并通过可训练的映射层将不同版本模型的解码器连接起来进行特征映射。X-Adapter 通过使用空文本训练策略和两阶段去噪策略提高了其指导能力，并在实验证明其与各种插件具有通用兼容性，并使不同版本的插件能够共同工作，从而扩展了扩散社区的功能。我们通过广泛的实验验证了所提出方法的有效性，结果表明 X-Adapter 在升级的基础扩散模型中可能有更广泛的应用。

    Dec, 2023

  • 任意尺寸扩散：面向高清图像的任意尺寸文本驱动合成的高效实现

    提出了一种名为 Any-Size-Diffusion (ASD) 的两阶段流程，用于通过优化文本条件扩散模型和引入快速无缝平铺扩散 (FSTD) 技术来有效生成任意尺寸的图片，并在 LAION-COCO 和 MM-CelebA-HQ 基准测试中取得了 2 倍于传统平铺算法的推理时间减少和良好结构的图片效果。

    Aug, 2023

  • 通过多分辨率扩散模型减轻图像生成中的失真

    该研究提出了一种创新的增强扩散模型的方法，通过整合新颖的多分辨率网络和时间相关的层归一化，以提高高保真图像生成的有效性。

    Jun, 2024