Mar, 2024

Zippo：将颜色和透明度分布压缩成单个扩散模型

PDF
TL;DRZippo 是一个统一框架，通过将颜色和透明度分布压缩成一个扩展的 RGB 图像和 alpha 图的联合表示，实现了从 Alpha 图像生成 RGB 图像和从输入图像预测透明度的功能，同时提供有效的文本条件透明图像生成，并展示了 Matte-to-RGB 和 RGB-to-Matte 转换的可行结果。
text-to-image diffusion modelgenerative diffusion modelvisual perception taskszippotransparent image generation
发现论文，激发创造
  • 基于扩散模型的图像属性编辑的零样本反演过程

    零样本反演过程 (ZIP) 是一个框架，将生成的视觉参考和文本引导注入预训练的去噪扩散模型的语义潜空间中，仅使用一个小型神经网络，ZIP 在文本提示的直观控制下产生多样的内容和属性，并对真实图像上的域内和域外属性操作展现了显著的鲁棒性。与最先进的方法相比，ZIP 在提供逼真的编辑效果的同时，生成了同等质量的图像。

    Aug, 2023

  • 调色板：图像到图像扩散模型

    本文提出了一种基于条件扩散模型的统一框架，用于图像到图像的转换，并在四个具有挑战性的图像到图像任务中测试了这个框架，即上色，修复，裁剪和 JPEG 恢复。我们的简单实现超越了所有任务上的强 GAN 和回归基线，无需任务特定的超参数调整，架构定制或需要任何辅助丢失或先进的新技术。我们揭示了扩散目标中 L2 与 L1 损失的影响，并通过实证研究证明了自我关注在神经结构中的重要性。重要的是，我们提倡一个基于 ImageNet 的统一评估协议，具有人工评估和样本质量得分（FID，Inception Score，预训练 ResNet-50 的分类准确度和与原始图像的感知距离），我们期望这个标准化的评估协议在推进图像到图像翻译研究方面起到作用。最后，我们展示了一个通用的，多任务扩散模型的执行效果与任务特定的专家模型相当或更好。

    Nov, 2021

  • 基于 Piggyback 模型的改进扩散图像上色

    本文介绍了一个基于 T2I 模型的彩色转换模型，利用预训练的 T2I 模型的颜色先验知识，结合扩散引导器产生符合灰度图像视觉语义的潜在色调，接着使用一个灵敏度感知的 VQVAE 模型，生成与给定灰度输出像素完美对齐的彩色结果。在大量的实验中，该模型在感知质量上取得了最先进的性能。

    Apr, 2023

  • 透明图像层扩散的潜在透明度

    我们提出了 LayerDiffusion 方法，使得大规模预训练潜在扩散模型能够生成透明图像。该方法通过将 alpha 通道透明度编码到预训练潜在扩散模型的潜在流形中，学习了 “潜在透明度”。通过调整潜在空间并微调预训练模型，可以将任何潜在扩散模型转换为透明图像生成器。我们通过人机协作收集 1M 个透明图像层对来训练该模型，并展示了潜在透明度在不同开源图像生成器和条件控制系统中的应用。用户研究发现，在大多数情况下（97%），用户更喜欢我们本地生成的透明内容，而不是之前的临时解决方案，如生成和镶嵌。用户还报告称我们生成的透明图像的质量可与 Adobe Stock 等真实商业透明资产相媲美。

    Feb, 2024

  • 镜面扩散：通过提示重述和更多方法稳定零样本图像翻译过程

    最近，文字到图像扩散模型成为图像处理领域的一种新范式，包括内容生成、图像恢复和图像到图像的转换。本文提出了一种 Prompt 重新描述策略，以实现扩散模型中源图像和重构图像的镜像效应，从而实现准确的零样本图像翻译。

    Jan, 2024

  • DiffusionCLIP: 文本引导下的扩散模型用于稳健的图像处理

    该研究提出了一种名为 DiffusionCLIP 的新方法，该方法使用扩散模型进行文本驱动的图像操作，比现有基线表现更为优异，并允许简便的多属性操作。

    Oct, 2021

  • FreeSeg-Diff：基于扩散模型的无需训练的开放词汇分割

    该论文研究了基于开源预训练模型的零样本、无需训练的图像分割方法，通过结合不同的小型基础模型，利用扩散模型生成的特征，以及基于 CLIP 模型进行开放性词汇处理，实现了在 Pascal VOC 和 COCO 数据集上超越许多基于训练的方法并与最近的弱监督分割方法相媲美的结果。

    Mar, 2024

  • GLIDE: 基于文本引导扩散模型的逼真图像生成和编辑

    本研究探讨了扩散模型在文本条件下生成图像的问题，并比较了不同的指导策略：CLIP 指导和无分类器指导。 结果发现对于照片逼真度和字幕相似性，后者更受人类评估人员的青睐，还可以进行图像修复。

    Dec, 2021

  • 用扩散模型在图像之间进行插值

    通过使用潜在扩散模型进行无监督插值，我们在降噪、文本嵌入和主题姿势上实现了一致而令人信服的图像插值，而传统的数量指标如 FID 则无法准确度量插值质量。

    Jul, 2023

  • RGB↔X：使用材质和光照感知扩散模型的图像分解与合成

    通过扩散模型以及逆渲染和生成图像合成的方法，我们提出了改进的模型来实现逆向渲染问题 RGB→X 和合成问题 X→RGB 的效果。我们的模型在室内场景图像领域具有高度的灵活性和真实性。

    May, 2024