CVPRMar, 2023

LayoutDM: 可控布局生成的离散扩散模型

PDF
TL;DR本研究旨在以离散状态空间扩散模型为基础，通过控制布局生成算法的可控布局生成方式，包括类型或特定元素的位置等来解决各种布局生成任务。最终我们提出的 “LayoutDM” 模型能够自然地处理离散表示中的结构化布局数据，并通过模态逐渐推断出无噪声的布局。对于条件生成，我们建议在推理期间注入掩蔽或对数调整的布局约束。我们在实验中证明，我们的 LayoutDM 成功地生成高质量的布局，并在几个布局任务上优于特定于任务和不特定于任务的基线模型。
controllable layout generationdiscrete state-space diffusion modelsconditional generationlayout constraintshigh-quality layouts
发现论文，激发创造
  • LayoutDM：基于 Transformer 的布局生成扩散模型

    该研究探讨了扩散模型在条件布局生成中的潜力，并提出了基于 Transformer 的布局扩散模型 (LayoutDM)，该模型能够产生高质量、具有样本多样性、保真分布覆盖和稳定训练的图形设计布局。

    May, 2023

  • 基于分离扩散模型的统一布局生成

    本文提出了一种布局扩散生成模型，旨在构建元素分类、大小、位置和元素之间关系不同的图形场景中的图形布局。布局扩散生成模型通过解耦扩散算法实现了单个协调的布局生成任务。该方法可生成任意可用元素属性条件下的布局，实验证明其在功能和性能方面都优于现有的布局生成模型。

    Mar, 2023

  • 通过具有美学约束的扩散模型实现对齐布局生成

    提出了一种统一模型，用于处理广泛的布局生成任务，包括使用指定属性排列元素和完善粗糙布局设计。该模型基于连续扩散模型，并通过掩码输入引入条件。广泛的实验结果表明，该模型能够产生高质量的布局，并且优于现有的最先进基线。

    Feb, 2024

  • DLT: 联合离散 - 连续扩散布局转换器实现条件布局生成

    通过介绍一种名为 DLT 的联合离散 - 连续扩散模型，该模型是一种基于 Transformer 的模型，它具有灵活的条件机制，能够根据给定的所有布局组件类别、位置和尺寸的子集进行条件限制，在各种布局生成数据集上优于现有的生成模型。

    Mar, 2023

  • 利用有损扩散模型增强图像布局控制

    扩散模型为一种强大的生成模型，能够从纯噪声中生成高质量的图像。条件扩散模型通过简单的文本提示能够指定所需图像的内容，然而，仅仅基于文本提示无法对最终图像的构成和布局进行细致的控制，而这取决于初始噪声分布。本文探讨了两种改进方法，并演示了当这两种方法结合使用时可以获得更好的性能。

    May, 2024

  • LayoutDiffusion：可控的布局到图像生成扩散模型

    本文提出了一种名为 LayoutDiffusion 的扩散模型，通过构建结构图像块来解决布局与图像的多模态融合的难点，并利用 Object-aware Cross Attention 实现相对精确的分区和位置敏感的空间信息控制，实现比现有方法更高的生成质量和更高的可控性。

    Mar, 2023

  • 敌对监管使布局到图像扩散模型蓬勃发展

    通过在传统的布局到图像扩散模型的训练过程中引入对抗监督，我们提出了一种布局到图像综合模型。该模型通过基于分割的鉴别器提供像素级对齐的显式反馈，以实现生成图像与输入布局之间的强对齐。通过引入多步展开策略，我们进一步鼓励模型在采样步骤中始终与输入布局保持一致。我们的实验结果表明，该模型生成的图像具有良好的布局保持性，并通过文本提示实现广泛的可编辑性。此外，我们展示了该模型在实际应用中的用途：通过使用文本控制合成目标分布样本，我们在语义分割模型的领域泛化方面取得了显著提升（增加了约 12 个 mIoU 分数）。

    Jan, 2024

  • 使用潜在扩散进行参数化布局生成

    本文介绍了一种名为 PLay 的条件性潜在扩散模型，用于生成基于用户指定准则的矢量图空间中的参数化布局，并在 FID 和 FD-VG 等度量标准及用户测试中优于之前的作品，并为专业布局设计过程带来新颖交互体验。

    Jan, 2023

  • 增强扩散模型的可控性

    该研究使用基于 GAN latent space 的技术和生成式扩散模型，通过条件输入的两个 latent codes（空间内容掩码和扁平化样式嵌入）对其生成进行控制，从而实现图像的有效操控和转化。

    Feb, 2023

  • 使用扩散模型对单张图像进行连续布局编辑

    提出了第一个框架，用于保留单个图像的视觉属性并编辑其布局，并通过文本反演和优化方法实现多对象特征的分离和布局控制，从而优于其他支持此任务的基线。

    Jun, 2023