Jun, 2024

DiffusionPID: 通过部分信息分解解释扩散

PDF
TL;DRDiffusion Partial Information Decomposition (DiffusionPID) is a novel technique applied to decompose the input text prompt, enabling a detailed examination of how individual tokens and their interactions shape the generated image in text-to-image diffusion models, addressing unanswered questions and biases analysis.
diffusion partial information decompositionvisual-semantic relationshipstext-to-image diffusion modelsunanswered questionsbias analysis
发现论文，激发创造
  • 扩散模型的隐藏语言

    本文针对文本到图像模型中的特征表征进行了分解，通过学习一个假的标记，将输入文本提示分解为一小组可解释元素，对现有良好的稳定扩散模型进行了应用，我们发现某些概念由特定实例主导，而其他概念则结合具体和抽象的关联术语，此外，我们的方法还可以实现单幅图像分解、偏置检测和缓解以及语义图像操作。

    Jun, 2023

  • 可解释的信息分解扩散

    通过使用去噪扩散模型，我们可以条件生成和密度建模复杂关系，如图像和文本，并通过信息分解揭示学到的细粒度关系，进而提出了许多应用，包括无监督定位图像中的目标和选择性编辑图像时的影响测量。

    Oct, 2023

  • 探索文本到图像扩散模型的工作机制

    通过研究强潜在扩散概率模型在 T2I 生成过程中的中间状态，发现图像在早期生成阶段主要由文本引导完成，之后概率模型通过自身信息来完善生成图像的细节，并进一步提出了去除文本引导以加速 T2I 生成过程的方法，加速效果达到 25%+

    May, 2024

  • 基于去噪扩散模型的人物图像合成

    使用去噪扩散模型，我们提出了一种名为 PIDM 的人体图像扩散模型，解决了复杂的转换问题，并展示了在两个大型基准测试中的显着结果，以及如何在下游任务中使用生成的图像。

    Nov, 2022

  • 寻找咒语：通过提示工程实现精确的文本到图像扩散合成

    通过 prompt 学习，我们提出了一种学习扩散模型适当文本描述的框架，通过利用预训练扩散模型导出的质量指导和语义指导，我们的方法可以有效地学习提示，从而提高输入文本和生成图像之间的匹配。通过广泛的实验和分析，验证了所提方法的有效性。

    Jan, 2024

  • PID: 针对潜在扩散模型的独立提示数据保护

    通过对视觉编码器的操作，提出了名为 Prompt-Independent Defense（PID）的简单而有效的方法，以保护数据免受 Latent Diffusion Models（LDMs）的侵害，并显著减少计算资源的需求。

    Jun, 2024

  • 因子化扩散：通过噪声分解引起的感知错觉

    通过将图像因子分解为线性组件之和，我们提出了一种零样本方法来通过扩散模型采样来控制每个单独的组件。我们通过分解图像为低频和高频空间成分并基于不同的文本提示来调整这些成分，可以产生根据观察距离而改变外观的混合图像。我们还使用将图像分解为灰度和彩色成分，以生成在灰度下外观改变的图像，这在昏暗的光照下自然发生。此外，我们还通过运动模糊核将图像分解，从而生成在运动模糊下外观改变的图像。我们的方法通过使用组合噪声估计进行去噪，该估计是通过在不同的提示条件下对噪声估计的成分进行构建而得到的。我们还展示出，在某些分解情况下，我们的方法可以恢复先前的生成和空间控制方法。最后，我们展示了我们可以将该方法扩展到从真实图像生成混合图像。我们通过固定一个组件并生成其余的组件来解决一个逆问题。

    Apr, 2024

  • 去扩散使文本成为强大的跨模态接口

    我们展示了一种以文本作为强大的跨模态接口的方法，通过将图像表示为文本，利用自然语言的可解释性和灵活性，我们使用一个自动编码器，将输入图像转换为文本，并通过固定的文本到图像扩散解码器进行重构，该过程称为 De-Diffusion。实验证实了 De-Diffusion 文本表示图像的精确性和综合性，使其可以轻松地被一般的文本到图像工具和 LLMs 接收，并可用于多样化的多模态任务。

    Nov, 2023

  • 镜面扩散：通过提示重述和更多方法稳定零样本图像翻译过程

    最近，文字到图像扩散模型成为图像处理领域的一种新范式，包括内容生成、图像恢复和图像到图像的转换。本文提出了一种 Prompt 重新描述策略，以实现扩散模型中源图像和重构图像的镜像效应，从而实现准确的零样本图像翻译。

    Jan, 2024

  • 反向稳定扩散：生成此图像所使用的提示是什么？

    预测生成式扩散模型所生成图像的文本提示，采用联合回归和多标签词汇分类目标的新型学习框架，结合白盒和黑盒模型解决生成文本提示的问题，并通过课程学习和领域自适应核学习方法进一步改进。实验结果表明，该学习框架在预测文本提示任务上取得了出色的结果，尤其在白盒模型上应用时效果最好，并发现在生成文本到图像时将该模型用于回收训练能够使生成的图像与输入提示更好地对齐。

    Aug, 2023