Dec, 2023

样式注入在扩散中：适应大规模扩散模型进行风格转换的无训练方法

PDF
TL;DR基于预训练大规模扩散模型的一种新的艺术风格转换方法，通过操作自注意力层的特征作为交叉注意力机制的方式，实现样式的传递和内容的保留，并解决原始内容的破坏和样式颜色不协调的问题，证明在传统和基于扩散的风格转换基准测试中超越了现有方法。
generative capabilitiesdiffusion modelsstyle transferlarge-scale diffusion modelsartistic style transfer
发现论文，激发创造
  • FreeStyle：使用扩散模型进行文本引导的风格转换的免费午餐

    本文介绍了一种创新的基于预训练大型扩散模型的风格转换方法 FreeStyle，无需进一步优化，通过对所需风格的文本描述，实现风格转换，并且实验结果表明了其在不同内容图像和风格文本提示下的高质量综合和保真度。

    Jan, 2024

  • 基于扩散模型的倒置式风格迁移

    本文提出了一种基于单张画作的有学习能力的文字描述的艺术风格逆推算法（InST），能够高效地捕捉并转移绘画作品的艺术风格，且经过在多个艺术家和艺术风格的多幅画作上测试验证了其质量和效率。

    Nov, 2022

  • 通过稳定扩散的步态感知和层级感知提示实现高度逼真的艺术风格转换

    提出了一种名为 LSAST 的新型基于预训练扩散的艺术风格转换方法，能够生成高度逼真的艺术化风格图像，并在保留输入图像的内容结构方面表现出较好的效果，而不引入明显的伪影和不协调的风格图案。

    Apr, 2024

  • 文本引导扩散图像风格迁移的零样本对比损失

    本文提出了一种零样式迁移的扩散模型，该零样式迁移使用零额外训练或辅助网络的对比损失来处理内容保留问题，并在图像样式转换和图像到图像翻译中取得了优于现有方法的效果。

    Mar, 2023

  • InstantStyle：文本到图像生成中面向保留风格的免费午餐

    Tuning-free diffusion-based models have achieved promising results in image personalization and customization, but still face challenges in style-consistent image generation. This paper introduces InstantStyle, a framework that addresses these challenges by decoupling style and content, and injecting reference image features into style-specific blocks to achieve superior visual stylization outcomes.

    Apr, 2024

  • 基于扩散的图像翻译：使用解缕分离的风格和内容表征

    本文提出了一种基于扩散的非监督图像转换方法，使用分离的风格和内容表征，并使用 ViT 模型中的中间键提取多头自注意层作为内容保存损失，并匹配文本驱动风格转移的 [CLS] 分类令牌，同时使用额外的 CLIP 损失，实验结果表明，该方法在文本引导和图像引导的转换任务中优于现有的基准模型。

    Sep, 2022

  • $Z^*$：基于注意力重排的零样式转移

    通过理论分析和实验，本研究展示了扩散模型在零样式转换的有效性和优越性，并引入了交叉注意力重排策略，使样式信息能够直接提取并无缝集成到内容图像中。

    Nov, 2023

  • Style-A-Video：任意文本视频样式转移的敏捷扩散

    这篇文章提出了一种称为 Style-A-Video 的零样式迁移视频美化方法，利用生成式预训练转换器和图像潜在扩散模型，改善图像降噪过程的指导条件，从而在艺术表达和结构保护之间建立平衡，并采用采样优化和时间一致性模块，以达到优秀的内容保护和风格性能。

    May, 2023

  • 利用交换自注意力进行视觉风格激活

    我们提出了一种新颖的方法来产生各种不同风格的图像，并保持特定的风格元素和细微差别，这种方法通过在去噪过程中，在最后的自注意力层中将查询从原始特征保留，而将关键字和值与参考特征交换，实现了视觉风格提示而无需任何微调，确保生成的图像保持忠实的风格。通过对各种风格和文本提示进行广泛评估，我们的方法表现出超越现有方法的优势，在最准确地匹配文本提示的情况下最好地反映出参考的风格，我们的项目页面在这里提供。

    Feb, 2024

  • 结构一致的文本驱动风格迁移中的自适应风格融合

    本研究提出了一种创新的文本驱动风格转移任务解决方案，名为自适应风格融合（ASI），通过 Siamese Cross-Attention（SiCA）、Adaptive Content-Style Blending（AdaBlending）模块来实现细粒度的特征级风格融合，并在结构保持和风格化效果方面展现出更好的性能。

    Apr, 2024