基于预训练大规模扩散模型的一种新的艺术风格转换方法，通过操作自注意力层的特征作为交叉注意力机制的方式，实现样式的传递和内容的保留，并解决原始内容的破坏和样式颜色不协调的问题，证明在传统和基于扩散的风格转换基准测试中超越了现有方法。

Dec, 2023

Tuning-free diffusion-based models have achieved promising results in image personalization and customization, but still face challenges in style-consistent image generation. This paper introduces InstantStyle, a framework that addresses these challenges by decoupling style and content, and injecting reference image features into style-specific blocks to achieve superior visual stylization outcomes.

Apr, 2024

DIFFSTE 是一个改善预训练扩散模型性能的双编码器设计框架，通过指令调整训练，实现了场景文本编辑中正确文本渲染和风格控制的任务，使其具有零 - shot 泛化能力。

Apr, 2023

本文提出了一种新颖的深度神经风格迁移方法，通过生成从任意用户文本输入中得到的风格图像。使用语言模型和风格迁移模型形成一个无缝的流水线，可以创建具有相似损失和改进质量的输出图像，与基线风格迁移方法相比较。开发了一个概念验证工具以集成模型并展示从自由文本进行深度图像风格转移的有效性。

Dec, 2022

这篇文章提出了一种称为 Style-A-Video 的零样式迁移视频美化方法，利用生成式预训练转换器和图像潜在扩散模型，改善图像降噪过程的指导条件，从而在艺术表达和结构保护之间建立平衡，并采用采样优化和时间一致性模块，以达到优秀的内容保护和风格性能。

May, 2023

提出了一种新的任务，文本驱动的风格化图像生成，以进一步增强内容创造中的可编辑性，通过升级经过训练的文本到图像模型与可训练的调制网络，同时引入扩散样式和内容正则化，实现了高质量的风格化文本到图像生成。

Nov, 2023

本文研究了基于扩散概率模型的语言模型在细粒度文本风格转换的任务上的应用，并证明了这种模型不仅可以在没有预训练权重、外部嵌入和语法解析器的情况下进行训练，而且在数据资源有限的情况下也能取得优异的效果。

May, 2023

文本样式转换是将文本的样式特征进行转换而保留其含义的任务。我们引入了一种新颖的基于扩散的通用样式转换框架 ParaGuide，它可以在推理时灵活地适应任意目标样式，利用改进的扩散模型，结合来自现成分类器和强大的已有样式嵌入器的梯度引导，以转换文本的样式同时保留语义信息。我们在 Enron Email Corpus 上进行人工和自动评估，发现该方法在正式化、情感以及甚至作者风格转换方面均超越了强大的基准。

Aug, 2023

本文提出了一种基于扩散的非监督图像转换方法，使用分离的风格和内容表征，并使用 ViT 模型中的中间键提取多头自注意层作为内容保存损失，并匹配文本驱动风格转移的 [CLS] 分类令牌，同时使用额外的 CLIP 损失，实验结果表明，该方法在文本引导和图像引导的转换任务中优于现有的基准模型。

Sep, 2022

我们提出了一种基于扩散模型的即时人体运动风格转移学习方法，通过几分钟的微调学习，可以将未知的风格转移到不同的内容运动中，且仅需要一个风格示例和以中立运动为主的文本到运动数据集（例如 HumanML3D）。

Mar, 2024