Apr, 2024

InstantStyle：文本到图像生成中面向保留风格的免费午餐

PDF
TL;DRTuning-free diffusion-based models have achieved promising results in image personalization and customization, but still face challenges in style-consistent image generation. This paper introduces InstantStyle, a framework that addresses these challenges by decoupling style and content, and injecting reference image features into style-specific blocks to achieve superior visual stylization outcomes.
发现论文，激发创造
  • FreeStyle：使用扩散模型进行文本引导的风格转换的免费午餐

    本文介绍了一种创新的基于预训练大型扩散模型的风格转换方法 FreeStyle，无需进一步优化，通过对所需风格的文本描述，实现风格转换，并且实验结果表明了其在不同内容图像和风格文本提示下的高质量综合和保真度。

    Jan, 2024

  • 基于扩散模型的倒置式风格迁移

    本文提出了一种基于单张画作的有学习能力的文字描述的艺术风格逆推算法（InST），能够高效地捕捉并转移绘画作品的艺术风格，且经过在多个艺术家和艺术风格的多幅画作上测试验证了其质量和效率。

    Nov, 2022

  • 样式注入在扩散中：适应大规模扩散模型进行风格转换的无训练方法

    基于预训练大规模扩散模型的一种新的艺术风格转换方法，通过操作自注意力层的特征作为交叉注意力机制的方式，实现样式的传递和内容的保留，并解决原始内容的破坏和样式颜色不协调的问题，证明在传统和基于扩散的风格转换基准测试中超越了现有方法。

    Dec, 2023

  • InstaStyle: 风格化图像的反演噪音悄然成为一位风格顾问

    InstaStyle 是一种新方法，通过从单个参考图像中提取风格噪声，并利用扩散模型生成新的高保真度风格化图像，能够在创作任务和样式组合方面提供卓越的性能。

    Nov, 2023

  • StyleDrop: 任何风格的文本到图像生成

    本文介绍了一种基于文本到图像模型的图像综合方法 StyleDrop，可以通过少量的可训练参数学习新的图像风格，并且能够很好地捕捉用户提供的颜色方案、阴影、设计模式、局部和全局效果，而且即使用户只提供一个指定了所需风格的图像，也能够产生令人印象深刻的结果。StyleDrop 实现于 Muse 上对比其他方法表现更优。

    Jun, 2023

  • 通过细分和双重绑定实现任何艺术风格的文本到图像合成

    该研究论文介绍了一种名为 Single-StyleForge 的新方法，用于将预训练的文本到图像扩散模型进行个性化训练，从文本提示中生成指定风格的多样化图像。此外，研究还提出了一种名为 Multi-StyleForge 的改进方法，通过学习多个标记来改善风格和文本 - 图像对齐的质量，在六种不同的艺术风格上实验评估表明，在生成的图像质量和感知保真度指标（如 FID、KID 和 CLIP 分数）方面取得了显着的改善。

    Apr, 2024

  • DreamStyler：使用文本到图像扩散模型进行风格反演的绘画

    DreamStyler 是一种新的框架，用于艺术图像合成，具备文本到图像合成和风格转换的能力，通过多阶段的文本嵌入和上下文感知的文本提示来优化图像质量，并具备适应一系列风格参考的灵活性，实验证明其在多种场景下的卓越性能，显示出在艺术产品创作方面的潜在优势。

    Sep, 2023

  • 任意风格的快速基于块的风格转移

    本文提出了一种基于局部匹配和卷积神经网络的简单优化目标，该目标可以在保持效率的同时，产生艺术风格迁移的高品质结果。同时，本文结合内容结构和风格纹理，利用预训练网络的单层来实现该目标，并且使用 80,000 张自然图像和 80,000 张绘画进行反向优化网络的训练，这使得整个算法支持任意图像进行迁移。

    Dec, 2016

  • FastCLIPstyler: 使用样式表示进行无需优化的基于文本的图像风格转移

    通过使用文本输入代替语言风格参考图像的方式，创建一种通用的文本样式转移网络，能够在单次前向传递中对任意文本输入进行图像样式化处理，能够比 CLIPstyler 快约 1000 倍，且消除了一些不必要的图像失真问题，并可选用微调步骤以提高生成图像的质量。

    Oct, 2022

  • 利用交换自注意力进行视觉风格激活

    我们提出了一种新颖的方法来产生各种不同风格的图像，并保持特定的风格元素和细微差别，这种方法通过在去噪过程中，在最后的自注意力层中将查询从原始特征保留，而将关键字和值与参考特征交换，实现了视觉风格提示而无需任何微调，确保生成的图像保持忠实的风格。通过对各种风格和文本提示进行广泛评估，我们的方法表现出超越现有方法的优势，在最准确地匹配文本提示的情况下最好地反映出参考的风格，我们的项目页面在这里提供。

    Feb, 2024