Sep, 2023

DreamStyler：使用文本到图像扩散模型进行风格反演的绘画

PDF
TL;DRDreamStyler 是一种新的框架，用于艺术图像合成，具备文本到图像合成和风格转换的能力，通过多阶段的文本嵌入和上下文感知的文本提示来优化图像质量，并具备适应一系列风格参考的灵活性，实验证明其在多种场景下的卓越性能，显示出在艺术产品创作方面的潜在优势。
发现论文，激发创造
  • 基于扩散模型的倒置式风格迁移

    本文提出了一种基于单张画作的有学习能力的文字描述的艺术风格逆推算法（InST），能够高效地捕捉并转移绘画作品的艺术风格，且经过在多个艺术家和艺术风格的多幅画作上测试验证了其质量和效率。

    Nov, 2022

  • 通过细分和双重绑定实现任何艺术风格的文本到图像合成

    该研究论文介绍了一种名为 Single-StyleForge 的新方法，用于将预训练的文本到图像扩散模型进行个性化训练，从文本提示中生成指定风格的多样化图像。此外，研究还提出了一种名为 Multi-StyleForge 的改进方法，通过学习多个标记来改善风格和文本 - 图像对齐的质量，在六种不同的艺术风格上实验评估表明，在生成的图像质量和感知保真度指标（如 FID、KID 和 CLIP 分数）方面取得了显着的改善。

    Apr, 2024

  • DiffStyler：基于扩散的局部图像风格转移

    DiffStyler 是一种新方法，通过利用基于 LoRA 的文本到图像扩散模型来实现高效且精确的任意图像风格转移，该方法结合了跨 LoRA 特征和注意注入的策略，旨在在内容保持和风格整合之间取得更和谐的平衡。

    Mar, 2024

  • Stylebreeder: 通过文本 - to - 图像模型探索和使艺术风格大众化

    通过介绍 Artbreeder 上由 95K 用户生成的 680 万图片和 180 万提示的全面数据集，我们引入了一系列任务来识别多样的艺术风格、生成个性化内容并根据用户兴趣推荐风格。通过记录超越传统类别如 'cyberpunk' 或 'Picasso' 的独特用户生成风格，我们探索了用户全球集体创造心理的潜能。我们还评估了不同的个性化方法以增强艺术表达，并引入了一个风格地图集，以公共用户的方式呈现这些模型。我们的研究展示了文本到图像扩散模型发现和推广独特艺术表达的潜能，进一步使 AI 在艺术中具有民主化，促进更加多样和包容的艺术社区。数据集、代码和模型可以在此 https URL 获取，采用公共领域（CC0）许可证。

    Jun, 2024

  • Soulstyler：基于大型语言模型引导图像风格转换的目标对象

    通过简单的文本描述，我们提出了 “Soulstyler” 框架，让用户可以引导对特定物体进行图像风格化处理。我们介绍了一个大型语言模型来解析文本，识别风格化的目标和具体风格，并结合基于 CLIP 的语义视觉嵌入编码器，使模型能够理解并匹配文本和图像内容。同时，我们还引入了一种新颖的局部文本 - 图像块匹配损失函数，确保风格转换仅针对指定的目标对象，而非目标区域保持原始风格。实验结果表明，我们的模型能够根据文本描述准确进行目标对象的风格转换，而不影响背景区域的风格。

    Nov, 2023

  • StyleDrop: 任何风格的文本到图像生成

    本文介绍了一种基于文本到图像模型的图像综合方法 StyleDrop，可以通过少量的可训练参数学习新的图像风格，并且能够很好地捕捉用户提供的颜色方案、阴影、设计模式、局部和全局效果，而且即使用户只提供一个指定了所需风格的图像，也能够产生令人印象深刻的结果。StyleDrop 实现于 Muse 上对比其他方法表现更优。

    Jun, 2023

  • DreamWalk: 使用扩散引导的风格空间探索

    通过分解文本提示为概念元素，并在单个扩散过程中应用单独的指导项，我们可以提供对风格和内容的细粒度控制，同时不需要微调扩散模型的内部层或操纵其神经网络。

    Apr, 2024

  • TextDiffuser：扩散模型作为文本画家

    为解决扩散模型在渲染准确、连贯文本方面的问题，我们介绍了 TextDiffuser，并提供了第一个带有 OCR 标注的大规模图像文本数据集 MARIO-10M， 进行了实验和用户研究，表明 TextDiffuser 可以仅基于文本提示或与文本模板图像一起创建高质量的文本图像，并进行文本修复来重构不完整的带文本图像。完成的代码、模型和数据集可在官网 https://aka.ms/textdiffuser 获得。

    May, 2023

  • InstantStyle：文本到图像生成中面向保留风格的免费午餐

    Tuning-free diffusion-based models have achieved promising results in image personalization and customization, but still face challenges in style-consistent image generation. This paper introduces InstantStyle, a framework that addresses these challenges by decoupling style and content, and injecting reference image features into style-specific blocks to achieve superior visual stylization outcomes.

    Apr, 2024

  • FastCLIPstyler: 使用样式表示进行无需优化的基于文本的图像风格转移

    通过使用文本输入代替语言风格参考图像的方式，创建一种通用的文本样式转移网络，能够在单次前向传递中对任意文本输入进行图像样式化处理，能够比 CLIPstyler 快约 1000 倍，且消除了一些不必要的图像失真问题，并可选用微调步骤以提高生成图像的质量。

    Oct, 2022