Oct, 2023

Dolfin: 无自编码器的扩散布局变换器

PDF
TL;DR该论文介绍了一种新颖的生成模型 —— 无自动编码器的扩散布局变换器 (Dolfin)，与现有方法相比，该模型的建模能力得到显著提升，复杂度减少。Dolfin 采用基于 Transformer 的扩散过程来建模布局生成，同时提出了一种自回归扩散模型 (Dolfin-AR)，特别擅长捕捉邻近对象的丰富语义相关性，如对齐、大小和重叠。在标准的生成布局基准测试中，Dolfin 在各种指标 (fid、对齐度、重叠度、MaxIoU 和 DocSim 得分) 上显著提高了性能，增强了透明度和互操作性。此外，Dolfin 的应用不仅局限于布局生成，还适用于建模几何结构，如线段。我们的实验证明了 Dolfin 的优势，展示了定性和定量结果。
generative modeldiffusion layout transformerslayout generationautoregressive diffusion modelgeometric structures
发现论文，激发创造
  • LayoutDM：基于 Transformer 的布局生成扩散模型

    该研究探讨了扩散模型在条件布局生成中的潜力，并提出了基于 Transformer 的布局扩散模型 (LayoutDM)，该模型能够产生高质量、具有样本多样性、保真分布覆盖和稳定训练的图形设计布局。

    May, 2023

  • 大词汇量三维扩散模型与变压器

    使用三平面的三维感知扩散模型与 Transformer 架构，通过改善三维表示、处理几何和纹理的巨大变化、增强复杂对象的三维知识，提出一个能生成大量多样性、丰富语义以及高质量的真实世界三维对象的单一 DiffTF 模型，该模型在 ShapeNet 和 OmniObject3D 的广泛实验中表现出最先进的大量词汇三维对象生成性能。

    Sep, 2023

  • DLT: 联合离散 - 连续扩散布局转换器实现条件布局生成

    通过介绍一种名为 DLT 的联合离散 - 连续扩散模型，该模型是一种基于 Transformer 的模型，它具有灵活的条件机制，能够根据给定的所有布局组件类别、位置和尺寸的子集进行条件限制，在各种布局生成数据集上优于现有的生成模型。

    Mar, 2023

  • DiffiT：用于图像生成的扩散视觉 Transformer

    本文研究了视觉 transformer 在基于扩散的生成学习中的有效性，并提出了一种新的模型 Diffusion Vision Transformers（DiffiT），该模型在多个条件和无条件综合任务中取得了最新的基准成绩，生成了高保真度图片。

    Dec, 2023

  • 可扩展的 Transformer 扩散模型

    本文提出了基于 Transformer 的扩散模型。将常用的 U-Net 骨干网络替换为在潜在块上操作的 Transformer，通过 Gflops 度量前向传递复杂度分析 DiT 的可伸缩性，并证明了高 Gflops DiT-XL/2 模型在 ImageNet 512x512 和 256x256 基准测试中均优于以前的扩散模型，后者在 256x256 基准测试上实现了先进的 FID (2.27)。

    Dec, 2022

  • DiffTF++：大词汇量三维生成的三维感知扩散变换器

    通过引入一种基于扩散的前馈框架，以及使用改进的三面平面和 3D-aware 转换器、编码器 / 解码器来处理大规模的 3D 资源生成任务，该研究提出了一个更强的 3D 生成模型，以增强多样性、语义和质量。

    May, 2024

  • 敌对监管使布局到图像扩散模型蓬勃发展

    通过在传统的布局到图像扩散模型的训练过程中引入对抗监督，我们提出了一种布局到图像综合模型。该模型通过基于分割的鉴别器提供像素级对齐的显式反馈，以实现生成图像与输入布局之间的强对齐。通过引入多步展开策略，我们进一步鼓励模型在采样步骤中始终与输入布局保持一致。我们的实验结果表明，该模型生成的图像具有良好的布局保持性，并通过文本提示实现广泛的可编辑性。此外，我们展示了该模型在实际应用中的用途：通过使用文本控制合成目标分布样本，我们在语义分割模型的领域泛化方面取得了显著提升（增加了约 12 个 mIoU 分数）。

    Jan, 2024

  • Cartoondiff: 使用扩散转换模型进行无需训练的卡通图像生成

    本文介绍了 CartoonDiff，一种基于扩散 Transformer 模型的无需训练的采样方法，用于生成图像卡通化效果。通过将扩散模型的逆向过程分解为语义生成和细节生成阶段，并在特定去噪步骤中对噪声图像的高频信号进行归一化，实现了图像卡通化过程。CartoonDiff 不需要任何额外的参考图像，复杂的模型设计或繁琐的参数调整。广泛的实验结果表明了 CartoonDiff 的强大能力。

    Sep, 2023

  • HouseDiffusion：通过离散和连续去噪扩散模型生成矢量平面图

    通过扩散模型生成向量楼层平面图是我们提出的新方法，使用 Transformer 架构和二维坐标的离散和连续去噪处理生成图形门窗等元素并在 RPLAN 数据集上得到了显著的改进

    Nov, 2022

  • 使用潜在扩散模型进行高分辨率图像合成

    通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级 DMs 对计算资源的需求。

    Dec, 2021