Apr, 2024

因子化扩散：通过噪声分解引起的感知错觉

PDF
TL;DR通过将图像因子分解为线性组件之和，我们提出了一种零样本方法来通过扩散模型采样来控制每个单独的组件。我们通过分解图像为低频和高频空间成分并基于不同的文本提示来调整这些成分，可以产生根据观察距离而改变外观的混合图像。我们还使用将图像分解为灰度和彩色成分，以生成在灰度下外观改变的图像，这在昏暗的光照下自然发生。此外，我们还通过运动模糊核将图像分解，从而生成在运动模糊下外观改变的图像。我们的方法通过使用组合噪声估计进行去噪，该估计是通过在不同的提示条件下对噪声估计的成分进行构建而得到的。我们还展示出，在某些分解情况下，我们的方法可以恢复先前的生成和空间控制方法。最后，我们展示了我们可以将该方法扩展到从真实图像生成混合图像。我们通过固定一个组件并生成其余的组件来解决一个逆问题。
发现论文，激发创造
  • 使用扩散模型进行图像分解

    本文提出了一种图像分解的方法，使用 Diffusion 模型进行无监督训练，从而推断出图像中的各种组成部分，并展示了如何使用这些组成部分灵活地生成不同于训练时的场景。

    Jun, 2024

  • 可解释的信息分解扩散

    通过使用去噪扩散模型，我们可以条件生成和密度建模复杂关系，如图像和文本，并通过信息分解揭示学到的细粒度关系，进而提出了许多应用，包括无监督定位图像中的目标和选择性编辑图像时的影响测量。

    Oct, 2023

  • 通过几何分解的快速扩散采样器用于逆问题

    提出了一种新颖有效的扩散采样策略，将样本分解为在清洁数据流形上投影得到的 “去噪” 部分和诱导样本向下一级噪声流形过渡的 “噪声” 部分，可以更快和更精确地进行采样。在挑战性的实际医学逆成像问题中实现了最先进的重构质量，并且比以前的最先进方法快 80 倍以上。

    Mar, 2023

  • 粗到细图像合成的扩散模型渐进去模糊

    通过将扩散模型推广到旋转坐标系并引入模糊扩散，本文提出了一种新的粗到细的图像生成过程，以此来考虑图像中不同频率的相对重要性，实验结果表明此方法在 LSUN 卧室和教堂数据集上的成果优于之前的方法。

    Jul, 2022

  • DiffusionPID: 通过部分信息分解解释扩散

    Diffusion Partial Information Decomposition (DiffusionPID) is a novel technique applied to decompose the input text prompt, enabling a detailed examination of how individual tokens and their interactions shape the generated image in text-to-image diffusion models, addressing unanswered questions and biases analysis.

    Jun, 2024

  • 增强扩散模型的可控性

    该研究使用基于 GAN latent space 的技术和生成式扩散模型，通过条件输入的两个 latent codes（空间内容掩码和扁平化样式嵌入）对其生成进行控制，从而实现图像的有效操控和转化。

    Feb, 2023

  • 单视角材料估计的内在图像扩散

    使用内在图像扩散，我们提出了一种室内场景外观分解的生成模型。通过给定单个输入视图，我们对多个可能的材质解释进行采样，这些解释由反照率、粗糙度和金属性地图表示。通过引入概率形式来处理外观分解的挑战，我们利用了最近在大规模真实世界图像上训练的强大学习预测器，将其应用于材料估计，并在 PSNR 上超过了现有方法 1.5dB，在反照率预测上 FID 分数提高了 45%。通过在合成和真实世界数据集上进行实验证明了我们方法的有效性。

    Dec, 2023

  • 扩散模型的隐藏语言

    本文针对文本到图像模型中的特征表征进行了分解，通过学习一个假的标记，将输入文本提示分解为一小组可解释元素，对现有良好的稳定扩散模型进行了应用，我们发现某些概念由特定实例主导，而其他概念则结合具体和抽象的关联术语，此外，我们的方法还可以实现单幅图像分解、偏置检测和缓解以及语义图像操作。

    Jun, 2023

  • 复杂场景下基于分解和干扰感知的红外与可见光图像融合

    我们提出了一种基于分解和干扰感知的图像融合方法，通过对可见图像的散射程度进行像素分类并分离图像的细节和能量信息，实现对复杂场景中的干扰像素的更好识别，并结合自适应降噪和加权融合规则，得到在复杂场景下优越的图像融合效果。

    Feb, 2024

  • 强大且可控的盲图像分解

    为了实现对盲图像分解过程的控制，我们设计了一种名为可控盲图像分解网络的架构，它允许用户选择要去除或保留的降解类型，并在最小的计算成本下实现了分解和重组功能，以实现盲图像分解任务和用户意图的高效输出。

    Mar, 2024