使用扩散模型进行图像分解
通过解释扩散模型为基于能量的模型,在训练和测试阶段中将一组扩散模型组合在一起,结构化生成,该方法可用于合成预训练的文本指导的扩散模型并生成生动逼真的图像,解决了 DALLE-2 在对象属性方面的困难。
Jun, 2022
通过将图像因子分解为线性组件之和,我们提出了一种零样本方法来通过扩散模型采样来控制每个单独的组件。我们通过分解图像为低频和高频空间成分并基于不同的文本提示来调整这些成分,可以产生根据观察距离而改变外观的混合图像。我们还使用将图像分解为灰度和彩色成分,以生成在灰度下外观改变的图像,这在昏暗的光照下自然发生。此外,我们还通过运动模糊核将图像分解,从而生成在运动模糊下外观改变的图像。我们的方法通过使用组合噪声估计进行去噪,该估计是通过在不同的提示条件下对噪声估计的成分进行构建而得到的。我们还展示出,在某些分解情况下,我们的方法可以恢复先前的生成和空间控制方法。最后,我们展示了我们可以将该方法扩展到从真实图像生成混合图像。我们通过固定一个组件并生成其余的组件来解决一个逆问题。
Apr, 2024
通过使用大规模预训练的扩散模型,我们提出了一种可控的图像合成方法,将图像混合、图像协调、视角综合和生成式合成统一为一个扩散模型,同时设计了一个自监督训练框架和一个定制化的训练数据准备方法,并通过局部增强模块提高合成图像中前景细节的保真性。我们的方法在公共基准和实际数据上进行了评估,结果表明我们的方法比现有方法能够生成更加忠实和可控的合成图像。
Aug, 2023
该论文介绍了一种名为 Composite Diffusion 的方法,该方法允许艺术家通过自由形式的分段布局来生成高质量图像,以此来实现对图像生成的更大的空间、语义和创造性控制。
Jul, 2023
通过使用去噪扩散模型,我们可以条件生成和密度建模复杂关系,如图像和文本,并通过信息分解揭示学到的细粒度关系,进而提出了许多应用,包括无监督定位图像中的目标和选择性编辑图像时的影响测量。
Oct, 2023
通过整合三维物体放置、全局风格语义以及软引导等技术,我们提出了一种条件扩散模型 ——Compose and Conquer (CnC),能够分离式地定位多个条件,并实现对不同全局语义所定位的局部物体的创作。
Jan, 2024
通过应用扩散模型,我们比较了两种条件性扩散模型 (Classifier-Guidance 和 Classifier-Free) 在处理前景图像的亮度和颜色调整,从而达到与背景无缝融合的视觉效果,提出了一种新的图像和谐化方法。
Jun, 2023
本文针对文本到图像模型中的特征表征进行了分解,通过学习一个假的标记,将输入文本提示分解为一小组可解释元素,对现有良好的稳定扩散模型进行了应用,我们发现某些概念由特定实例主导,而其他概念则结合具体和抽象的关联术语,此外,我们的方法还可以实现单幅图像分解、偏置检测和缓解以及语义图像操作。
Jun, 2023
使用内在图像扩散,我们提出了一种室内场景外观分解的生成模型。通过给定单个输入视图,我们对多个可能的材质解释进行采样,这些解释由反照率、粗糙度和金属性地图表示。通过引入概率形式来处理外观分解的挑战,我们利用了最近在大规模真实世界图像上训练的强大学习预测器,将其应用于材料估计,并在 PSNR 上超过了现有方法 1.5dB,在反照率预测上 FID 分数提高了 45%。通过在合成和真实世界数据集上进行实验证明了我们方法的有效性。
Dec, 2023
本文介绍了一种建立在现有扩散模型之上的算法 ——Diffusers 混合器,它能够在不同区域之间协调多个扩散过程来控制图像组合,从而提供更细致的组合控制方式。
Feb, 2023