LayoutDM:基于 Transformer 的布局生成扩散模型
本研究旨在以离散状态空间扩散模型为基础,通过控制布局生成算法的可控布局生成方式,包括类型或特定元素的位置等来解决各种布局生成任务。最终我们提出的 “LayoutDM” 模型能够自然地处理离散表示中的结构化布局数据,并通过模态逐渐推断出无噪声的布局。对于条件生成,我们建议在推理期间注入掩蔽或对数调整的布局约束。我们在实验中证明,我们的 LayoutDM 成功地生成高质量的布局,并在几个布局任务上优于特定于任务和不特定于任务的基线模型。
Mar, 2023
本篇论文提出了一种基于 DDPM 的新型框架,用于语义图像合成,通过条件扩散模型来处理语义布局与噪声图像,而引入分类器自由的引导采样策略来进一步提高了生成质量和语义可解释性。
Jun, 2022
通过介绍一种名为 DLT 的联合离散 - 连续扩散模型,该模型是一种基于 Transformer 的模型,它具有灵活的条件机制,能够根据给定的所有布局组件类别、位置和尺寸的子集进行条件限制,在各种布局生成数据集上优于现有的生成模型。
Mar, 2023
该论文介绍了一种新颖的生成模型 —— 无自动编码器的扩散布局变换器 (Dolfin),与现有方法相比,该模型的建模能力得到显著提升,复杂度减少。Dolfin 采用基于 Transformer 的扩散过程来建模布局生成,同时提出了一种自回归扩散模型 (Dolfin-AR),特别擅长捕捉邻近对象的丰富语义相关性,如对齐、大小和重叠。在标准的生成布局基准测试中,Dolfin 在各种指标 (fid、对齐度、重叠度、MaxIoU 和 DocSim 得分) 上显著提高了性能,增强了透明度和互操作性。此外,Dolfin 的应用不仅局限于布局生成,还适用于建模几何结构,如线段。我们的实验证明了 Dolfin 的优势,展示了定性和定量结果。
Oct, 2023
本文提出了一种布局扩散生成模型,旨在构建元素分类、大小、位置和元素之间关系不同的图形场景中的图形布局。布局扩散生成模型通过解耦扩散算法实现了单个协调的布局生成任务。该方法可生成任意可用元素属性条件下的布局,实验证明其在功能和性能方面都优于现有的布局生成模型。
Mar, 2023
通过在传统的布局到图像扩散模型的训练过程中引入对抗监督,我们提出了一种布局到图像综合模型。该模型通过基于分割的鉴别器提供像素级对齐的显式反馈,以实现生成图像与输入布局之间的强对齐。通过引入多步展开策略,我们进一步鼓励模型在采样步骤中始终与输入布局保持一致。我们的实验结果表明,该模型生成的图像具有良好的布局保持性,并通过文本提示实现广泛的可编辑性。此外,我们展示了该模型在实际应用中的用途:通过使用文本控制合成目标分布样本,我们在语义分割模型的领域泛化方面取得了显著提升(增加了约 12 个 mIoU 分数)。
Jan, 2024
利用条件 DDPM 模型生成高质量、多样化和准确的卫星图像,以及改进噪声调度、自适应归一化和自注意机制,通过算法和人类意见研究验证其在数据增强等实际应用中的有效性。
Sep, 2023
本文介绍了一个统一的后门攻击框架(VillanDiffusion),用于扩展目前对扩散模型(DMs)的后门分析范围,并通过实验展示了该框架有助于不同 DM 配置的后门分析,并提供了有关基于标题的后门攻击 DMs 的新见解。
Jun, 2023
本文提出了离散去噪扩散概率模型(D3PM),用于离散数据的扩散式生成模型,包括了仿真高斯核、嵌入空间中基于最邻近、引入吸收状态等过渡矩阵。研究表明过渡矩阵的选择对图像和文本领域下的生成模型结果至关重要,且提出的新损失函数在字符级别文本生成上取得了很好的效果。
Jul, 2021