Feb, 2023

基于稳定扩散模型的立面设计建模方法：从文本语义到图像生成

PDF
TL;DR通过 LoRA 对 CMP Facedes 数据集上的 Stable Diffusion 进行优化，然后应用 ControlNet 模型进一步控制输出，通过对各种建筑风格文本内容和控制策略下的结果进行比较，实验证明 LoRA 训练方法显著降低了对 Stable Diffusion 大模型的微调可能性，ControlNet 模型的添加增强了基于文本生成建筑立面图像的可控性。
stable diffusionmulti-networkloracontrolnetarchitectural image generation
发现论文，激发创造
  • 推进城市更新：利用稳定扩散模型生成历史街心店铺立面的自动化方法

    我们的研究引入了一种新的方法来自动生成历史弧廊立面的图像，利用以文本描述为条件的稳定扩散模型，该方法在生成的图像中展现出高的精确性、真实性和多样性，为实际城市更新项目提供了有希望的潜力。

    Nov, 2023

  • ControlNet-XS：为控制文本到图像扩散模型设计高效和有效的架构

    图像合成领域取得了巨大的进展，在本文中，我们提出了一种新的控制架构 ControlNet-XS，它不受信息流动延迟的问题困扰，因此可以专注于学习控制任务。与现有的控制网络相比，我们的模型参数量少，推理和训练时间大约快两倍，生成的图像质量更高，控制精度更高。

    Dec, 2023

  • 使用现成的扩散模型生成印刷文本

    该研究提出了一种排版文本生成系统，结合了扩散模型的控制方法和混合潜在扩散模型，实现了在排版设计上添加和修改文本，并指定字体风格、颜色和文本效果。通过合适的边缘条件，该系统能够生成指定字体的文本，同时应用提前设定的效果，如阴影和倒影，成功地将文本添加和修改在预设的背景上，保持整体的一致性。

    Feb, 2024

  • 刷字：通过扩散模型在图像上合成任意场景文本

    提出了 Diff-Text，它是一个训练免费的场景文本生成框架，能够以任何语言的文本和场景的文本描述为输入，输出逼真的照片。通过引入局部化的注意力约束和对比度图像级提示，实现了场景文本的准确生成，并在文本识别准确性和前景背景融合的自然度方面优于现有方法。

    Dec, 2023

  • 通过语义扩散引导使图像合成更加可控

    该研究探讨了图像合成模型的细粒度、连续控制，提出了一种新的语义扩散引导统一框架，可以注入预训练的无条件扩散模型的语言或图像指导，并在 FFHQ 和 LSUN 数据集上进行了实验。

    Dec, 2021

  • 控制样式：使用扩散先验生成基于文本的风格化图像

    提出了一种新的任务，文本驱动的风格化图像生成，以进一步增强内容创造中的可编辑性，通过升级经过训练的文本到图像模型与可训练的调制网络，同时引入扩散样式和内容正则化，实现了高质量的风格化文本到图像生成。

    Nov, 2023

  • 预训练的文本到图像扩散模型是多用途控制表征学习器

    使用预先训练的文本到图像扩散模型构建稳定的控制表示，从而实现细粒度场景理解和学习复杂控制策略。

    May, 2024

  • SwiftDiffusion：高效扩散模型服务与附加模块

    SwiftDiffusion 是一种高效生成高质量图像的系统，使用稳定的扩散模型和附加模块，通过并行计算和分布式控制网络计算，消除 LoRA 加载和合并的开销，并进行了与附加模块有效服务兼容的稳定扩散模型的优化，从而大幅降低了服务延迟，提高了服务吞吐量。

    Jul, 2024

  • 无需训练的位置感知文本到图像合成

    本文提出了一种新的交互式图像生成方案，以定位细粒度为目标，评价了生成模型控制位置的能力，并在图像质量和控制能力方面均表现出超过最先进方法的效果。

    Apr, 2023

  • 驯服文本到 360° 全景图像生成的稳定扩散

    通过双分支扩散模型 PanFusion，从文本提示生成 360 度全景图像，并使用投影感知的独特交叉注意机制提供协作降噪过程中的最小畸变。

    Apr, 2024