May, 2024

StyleMaster：面向灵活样式化图像生成的扩散模型

PDF
TL;DRStylized Text-to-Image Generation paper proposes StyleMaster, a framework utilizing pretrained Stable Diffusion for generating images from text prompts, overcoming previous issues with insufficient style and inconsistent semantics. It introduces a multi-source style embedder and dynamic attention adapter to provide improved style embeddings and adaptability, and evaluates the model using objective functions and denoising loss, demonstrating its superior performance in achieving variable target styles while maintaining semantic information.
stylized text-to-image generationstylemasterpretrained stable diffusionstyle embeddingssemantic consistency
发现论文，激发创造
  • 控制样式：使用扩散先验生成基于文本的风格化图像

    提出了一种新的任务，文本驱动的风格化图像生成，以进一步增强内容创造中的可编辑性，通过升级经过训练的文本到图像模型与可训练的调制网络，同时引入扩散样式和内容正则化，实现了高质量的风格化文本到图像生成。

    Nov, 2023

  • FreeStyle：使用扩散模型进行文本引导的风格转换的免费午餐

    本文介绍了一种创新的基于预训练大型扩散模型的风格转换方法 FreeStyle，无需进一步优化，通过对所需风格的文本描述，实现风格转换，并且实验结果表明了其在不同内容图像和风格文本提示下的高质量综合和保真度。

    Jan, 2024

  • SGDiff：时尚合成的风格引导扩散模型

    本文介绍了一种创新的样式引导扩散模型 (SGDiff)，它结合了图像模态和预训练的文本到图像扩散模型，以促进创意时尚图像合成。它通过混合补充样式引导克服了文本到图像扩散模型的局限性，大大降低了训练成本，并解决了仅依靠文本输入来控制合成样式的困难。本文还引入了一个新的数据集 - SG-Fashion，专门为时尚图像合成应用设计，提供高分辨率图像和广泛的服装类别。通过全面的削减研究，我们考察了无分类器引导方法在各种条件下的应用，并验证了该模型在生成所需类别、产品属性和样式的时尚图像方面的有效性。本文的贡献包括一种新颖的无分类器引导多模态特征融合方法，为时尚图像合成应用提供了全面的数据集，对条件文本到图像合成进行了深入研究，并为将来在文本到图像合成领域的研究提供了有价值的见解。代码和数据集可在以下链接获取：https://github.com/taited/SGDiff。

    Aug, 2023

  • 使用双编码器改进场景文本编辑的扩散模型

    DIFFSTE 是一个改善预训练扩散模型性能的双编码器设计框架，通过指令调整训练，实现了场景文本编辑中正确文本渲染和风格控制的任务，使其具有零 - shot 泛化能力。

    Apr, 2023

  • 区分性扩散模型作为几个少样本视觉和语言学习器

    该论文提出了一种名为 DSD 的创新方法，它利用预训练的 text-to-image 扩散模型进行少样本判别性学习，并使用交叉注意力分数捕捉视觉和文本信息之间的相互影响，并通过基于注意力的提示学习对模型进行微调，实现图文匹配，并在几个基准数据集上展示利用预训练扩散模型在少样本图文匹配上具有非凡的结果。

    May, 2023

  • 3DStyle-Diffusion：使用 2D 扩散模型追求细粒度基于文本的 3D 风格化

    通过结合 CLIP 和 2D Diffusion 模型，我们提出了一种新的 3DStyle-Diffusion 模型，能够在文本驱动的几何和外观引导下，实现对 3D 网格的细粒度样式化。

    Nov, 2023

  • StyleAvatar3D: 基于图像文本扩散模型实现高保真 3D 头像生成

    本文提出了一种新的方法，结合使用预训练的图像文本扩散模型和基于生成对抗网络的 3D 生成网络，用于生成高质量，风格化的 3D 头像，并在视觉质量和多样性方面优于现有最先进的方法。

    May, 2023

  • 多功能扩散模型：文字、图像和变体都在一个模型中

    本研究扩展现有单流程扩散管线到多任务多模态网络，通过可共享、可交换的多流程跨模式模块，将文本到图像、图像到文本等多流和变异处理统一在一个模型中，实现了风格和语义的解耦、双重和多重上下文混合等并发处理。实验证明，该框架性能优越，可启发基于扩散的通用人工智能研究。

    Nov, 2022

  • 孤立扩散：多概念文本到图像生成的优化 —— 在自由训练中使用孤立扩散引导

    通过单独的扩散过程和修订方法，本研究提出了一种针对大规模文本到图像扩散模型的通用方法，以解决复杂场景中不同主题及其附件之间的相互干扰，追求更好的文本图像一致性。

    Mar, 2024

  • 样式注入在扩散中：适应大规模扩散模型进行风格转换的无训练方法

    基于预训练大规模扩散模型的一种新的艺术风格转换方法，通过操作自注意力层的特征作为交叉注意力机制的方式，实现样式的传递和内容的保留，并解决原始内容的破坏和样式颜色不协调的问题，证明在传统和基于扩散的风格转换基准测试中超越了现有方法。

    Dec, 2023