基于分离扩散模型的统一布局生成
通过介绍一种名为 DLT 的联合离散 - 连续扩散模型,该模型是一种基于 Transformer 的模型,它具有灵活的条件机制,能够根据给定的所有布局组件类别、位置和尺寸的子集进行条件限制,在各种布局生成数据集上优于现有的生成模型。
Mar, 2023
本研究旨在以离散状态空间扩散模型为基础,通过控制布局生成算法的可控布局生成方式,包括类型或特定元素的位置等来解决各种布局生成任务。最终我们提出的 “LayoutDM” 模型能够自然地处理离散表示中的结构化布局数据,并通过模态逐渐推断出无噪声的布局。对于条件生成,我们建议在推理期间注入掩蔽或对数调整的布局约束。我们在实验中证明,我们的 LayoutDM 成功地生成高质量的布局,并在几个布局任务上优于特定于任务和不特定于任务的基线模型。
Mar, 2023
提出了一种统一模型,用于处理广泛的布局生成任务,包括使用指定属性排列元素和完善粗糙布局设计。该模型基于连续扩散模型,并通过掩码输入引入条件。广泛的实验结果表明,该模型能够产生高质量的布局,并且优于现有的最先进基线。
Feb, 2024
该研究探讨了扩散模型在条件布局生成中的潜力,并提出了基于 Transformer 的布局扩散模型 (LayoutDM),该模型能够产生高质量、具有样本多样性、保真分布覆盖和稳定训练的图形设计布局。
May, 2023
通过提出一种语义可控的布局感知 (Diffusion) 模型 (LAW-Diffusion),本研究实现了准确的复杂场景生成,通过引入空间依赖解析器来编码在对象之间的位置感知的语义一致性作为布局嵌入,并产生具有感知上和谐对象风格和语境关系的场景。
Aug, 2023
本文提出了一种名为 LayoutDiffusion 的扩散模型,通过构建结构图像块来解决布局与图像的多模态融合的难点,并利用 Object-aware Cross Attention 实现相对精确的分区和位置敏感的空间信息控制,实现比现有方法更高的生成质量和更高的可控性。
Mar, 2023
我们提出了第一个框架,允许使用一个模型解决所有级别(节点、边和图)和所有类型(生成、回归和分类)的图学习任务。我们首先提出了潜在图扩散(LGD),它是一个生成模型,可以同时生成所有类别的节点、边和图级特征。我们通过将图结构和特征嵌入到潜在空间中,并利用一个强大的编码器对其进行解码,然后在潜在空间中训练扩散模型来实现这个目标。LGD 还能够通过一个特殊设计的交叉注意机制进行条件生成。然后,我们将包括回归和分类在内的预测任务制定为(条件)生成,使我们的 LGD 能够解决所有级别和所有类型的任务,并提供可证明的保证。通过广泛的实验证明了我们框架的有效性,其中我们的模型在生成和回归任务中达到了最先进或极具竞争力的结果。
Feb, 2024
通过在传统的布局到图像扩散模型的训练过程中引入对抗监督,我们提出了一种布局到图像综合模型。该模型通过基于分割的鉴别器提供像素级对齐的显式反馈,以实现生成图像与输入布局之间的强对齐。通过引入多步展开策略,我们进一步鼓励模型在采样步骤中始终与输入布局保持一致。我们的实验结果表明,该模型生成的图像具有良好的布局保持性,并通过文本提示实现广泛的可编辑性。此外,我们展示了该模型在实际应用中的用途:通过使用文本控制合成目标分布样本,我们在语义分割模型的领域泛化方面取得了显著提升(增加了约 12 个 mIoU 分数)。
Jan, 2024
本文介绍了一种名为 PLay 的条件性潜在扩散模型,用于生成基于用户指定准则的矢量图空间中的参数化布局,并在 FID 和 FD-VG 等度量标准及用户测试中优于之前的作品,并为专业布局设计过程带来新颖交互体验。
Jan, 2023
通过解释扩散模型为基于能量的模型,在训练和测试阶段中将一组扩散模型组合在一起,结构化生成,该方法可用于合成预训练的文本指导的扩散模型并生成生动逼真的图像,解决了 DALLE-2 在对象属性方面的困难。
Jun, 2022