Jun, 2024

扩散模型中的水晶球假设：从初始噪声预测物体位置

PDF
TL;DR通过分析生成图像中物体边界框的离散程度，研究发现初始噪声图像中的特定区域（称为触发补丁）在生成的图像中起到了关键作用；通过在不同的噪声之间提取和注入这些补丁，可以在目标区域生成物体。研究还提出了一种拒绝采样策略来获得最佳噪声，旨在改善提示遵从性和图像生成的位置多样性。
发现论文，激发创造
  • 扩散模型中通过初始图像编辑实现引导图像合成

    通过稳定的扩散实验，我们发现初始图像中的像素块倾向于生成特定的内容，我们通过修改它们可以显著影响生成的图像，这种影响只影响特定的区域，而不影响其他区域，这对于重绘任务非常有用。我们发现像素块的生成偏好主要由其值而不是位置决定，通过将具有生成用户所需内容倾向的像素块移动到用户指定的区域，我们的方法在布局到图像生成方面实现了最先进的性能，我们的结果凸显了初始图像操作在控制生成图像方面的灵活性和能力。

    May, 2023

  • 扩散模型中引导图像合成的语义驱动初始图像构建

    使用预先收集的、具有语义信息的像素块，通过多个初始噪声进行初始图像构建，以增强对图像生成的控制。实验结果显示了初始图像构建在引导生成图像内容方面的适应性，并在无需训练的布局到图像合成任务中取得了最先进的性能。

    Dec, 2023

  • 利用有损扩散模型增强图像布局控制

    扩散模型为一种强大的生成模型，能够从纯噪声中生成高质量的图像。条件扩散模型通过简单的文本提示能够指定所需图像的内容，然而，仅仅基于文本提示无法对最终图像的构成和布局进行细致的控制，而这取决于初始噪声分布。本文探讨了两种改进方法，并演示了当这两种方法结合使用时可以获得更好的性能。

    May, 2024

  • 在任何场景中生成任何物体

    我们提出了一种简单高效的数据增强训练策略，通过插入适配器层来引导扩散模型仅专注于对象身份，使得我们的模型具备控制每个生成个性化对象的位置和大小的能力，并提出了区域引导抽样技术来保持生成图像的质量和保真度。

    Jun, 2023

  • 基于扩散的随机盒子三维物体检测

    Diff3Det 使用扩散模型进行 3D 物体检测的提案生成，通过将检测框视为生成目标，在训练过程中将物体框从真实框扩散到高斯分布，并学习解码器逆转这个噪声过程。推理阶段，模型逐渐将一系列随机框细化为预测结果，在 KITTI 基准测试上表现出有希望的性能，相较于经典的基于锚点的 3D 检测方法。

    Sep, 2023

  • 从扩散到混淆：基于扩散模型的自然敌对图案生成用于目标检测

    提出一种基于扩散模型的新型自然对抗贴片生成方法，通过从模型中预训练的自然图片中抽样生成高质量的自然对抗贴片，达到了更好的质量和更自然的对抗贴片的生成效果。

    Jul, 2023

  • DiffusionDet: 目标检测的扩散模型

    DiffusionDet 是一种将对象检测作为从噪声框到对象框的去噪扩散过程的新框架，其在训练阶段通过对象框从地面实况框扩散到随机分布，模型学习将该过程反转，在推断阶段，模型以渐进方式将一组随机生成框细化为输出结果，使用随机框作为对象候选框有利于解决对象检测问题，并且该问题可以通过生成方法来解决。

    Nov, 2022

  • 无需训练的位置感知文本到图像合成

    本文提出了一种新的交互式图像生成方案，以定位细粒度为目标，评价了生成模型控制位置的能力，并在图像质量和控制能力方面均表现出超过最先进方法的效果。

    Apr, 2023

  • 基于块状生成的记忆高效扩散概率模型

    本文提出了一种将扩散概率模型分成块进行图像生成的方法，使用一种称为 Global Content Conditioning 的条件方法，可在减少内存消耗 50％的情况下保持图像质量相当的质量。

    Apr, 2023

  • 利用扩散模型对输入噪声进行调控以进行可控图像生成

    通过给扩散模型输入精制的噪声来提高其控制性，从而可以产生基于语义属性的图像。

    May, 2022