DLT: 联合离散 - 连续扩散布局转换器实现条件布局生成

Mar, 2023

DLT: 联合离散 - 连续扩散布局转换器实现条件布局生成

DLT: Conditioned layout generation with Joint Discrete-Continuous Diffusion Layout Transformer

Elad Levi, Eli Brosh, Mykola Mykhailych, Meir Perez

TL;DR通过介绍一种名为 DLT 的联合离散 - 连续扩散模型，该模型是一种基于 Transformer 的模型，它具有灵活的条件机制，能够根据给定的所有布局组件类别、位置和尺寸的子集进行条件限制，在各种布局生成数据集上优于现有的生成模型。

Abstract

Generating visual layouts is an essential ingredient of graphic design. The ability to condition layout generation on a partial subset of component attributes is critical to real-world applications that involve user interaction. Recently, diffusion models have demonstrated high-quality

layout generation diffusion model transformer-based model conditioning mechanism mixed discrete-continuous generative tasks

发现论文，激发创造

基于分离扩散模型的统一布局生成

本文提出了一种布局扩散生成模型，旨在构建元素分类、大小、位置和元素之间关系不同的图形场景中的图形布局。布局扩散生成模型通过解耦扩散算法实现了单个协调的布局生成任务。该方法可生成任意可用元素属性条件下的布局，实验证明其在功能和性能方面都优于现有的布局生成模型。

Mar, 2023

LayoutDM：基于 Transformer 的布局生成扩散模型

该研究探讨了扩散模型在条件布局生成中的潜力，并提出了基于 Transformer 的布局扩散模型 (LayoutDM)，该模型能够产生高质量、具有样本多样性、保真分布覆盖和稳定训练的图形设计布局。

May, 2023

LayoutDM: 可控布局生成的离散扩散模型

本研究旨在以离散状态空间扩散模型为基础，通过控制布局生成算法的可控布局生成方式，包括类型或特定元素的位置等来解决各种布局生成任务。最终我们提出的 “LayoutDM” 模型能够自然地处理离散表示中的结构化布局数据，并通过模态逐渐推断出无噪声的布局。对于条件生成，我们建议在推理期间注入掩蔽或对数调整的布局约束。我们在实验中证明，我们的 LayoutDM 成功地生成高质量的布局，并在几个布局任务上优于特定于任务和不特定于任务的基线模型。

Mar, 2023

通过具有美学约束的扩散模型实现对齐布局生成

提出了一种统一模型，用于处理广泛的布局生成任务，包括使用指定属性排列元素和完善粗糙布局设计。该模型基于连续扩散模型，并通过掩码输入引入条件。广泛的实验结果表明，该模型能够产生高质量的布局，并且优于现有的最先进基线。

Feb, 2024

使用潜在扩散进行参数化布局生成

本文介绍了一种名为 PLay 的条件性潜在扩散模型，用于生成基于用户指定准则的矢量图空间中的参数化布局，并在 FID 和 FD-VG 等度量标准及用户测试中优于之前的作品，并为专业布局设计过程带来新颖交互体验。

Jan, 2023

利用有损扩散模型增强图像布局控制

扩散模型为一种强大的生成模型，能够从纯噪声中生成高质量的图像。条件扩散模型通过简单的文本提示能够指定所需图像的内容，然而，仅仅基于文本提示无法对最终图像的构成和布局进行细致的控制，而这取决于初始噪声分布。本文探讨了两种改进方法，并演示了当这两种方法结合使用时可以获得更好的性能。

May, 2024

CoLay: 多条件潜在扩散控制布局生成

提出了一种名为 CoLay 的新框架，它整合多种条件类型，生成具有多样化样式属性的复杂布局，优于先前工作在生成质量和条件满足方面，并使用户能够使用自然语言提示、布局指南、元素类型和部分完成的设计的灵活组合来表达设计意图。

May, 2024

结构部件设计的潜在扩散模型

该论文提出了一个用于生成结构组件设计的框架，利用潜在扩散模型生成满足一系列问题特定加载条件的潜在设计，从而具有编辑现有设计的优势。通过使用结构拓扑优化得到的几何数据集进行训练，我们的框架生成了近乎最优的设计，并提供了定量结果支持生成设计的结构性能和潜在候选设计的变化性，以及框架的可扩展性的证据。此框架可用作生成类似拓扑优化设计的新近乎最优设计的起点。

Sep, 2023

LayoutDiffusion：可控的布局到图像生成扩散模型

本文提出了一种名为 LayoutDiffusion 的扩散模型，通过构建结构图像块来解决布局与图像的多模态融合的难点，并利用 Object-aware Cross Attention 实现相对精确的分区和位置敏感的空间信息控制，实现比现有方法更高的生成质量和更高的可控性。

Mar, 2023

Design Booster：一种注重空间布局保留的文本引导扩散模型用于图像翻译

提出了一种通过学习感知图片布局和感知文本共同来进行灵活的图片翻译的新方法，该方法在实验中具有最佳的风格和语义图片翻译效果，并且需要的时间最短。

Feb, 2023