大规模文本到图像（T2I）模型在创意领域迅速崭露头角，从文本提示中生成令人惊叹的图像输出。然而，为了确保一致的风格而对这些模型进行控制仍然具有挑战性，现有方法需要微调和手动干预以分离内容和风格。在本文中，我们介绍了一种名为 StyleAligned 的创新技术，旨在在一系列生成的图像之间建立风格对齐。通过在扩散过程中采用最小的 ` 注意共享 '，我们的方法在 T2I 模型内保持了风格的一致性。这种方法通过简单的反演操作，使用参考风格创建具有一致风格的图像。我们方法在不同风格和文本提示上的评估表明，具有高质量的合成和保真度，突显其实现各种输入一致风格的效果。

Dec, 2023

基于预训练大规模扩散模型的一种新的艺术风格转换方法，通过操作自注意力层的特征作为交叉注意力机制的方式，实现样式的传递和内容的保留，并解决原始内容的破坏和样式颜色不协调的问题，证明在传统和基于扩散的风格转换基准测试中超越了现有方法。

Dec, 2023

通过将风格转移任务分解为风格、空间结构和语义内容三个核心元素，本研究提出了 InstantStyle-Plus，一种注重原始内容完整性同时无缝整合目标风格的方法。通过有效的、轻量级的风格注入过程，并利用先进的 InstantStyle 框架，实现风格注入。为了增强内容保护，我们使用倒置的内容潜噪声和多功能的接插件式 ControlNet 来保持原始图像的内在布局。此外，还引入了全局语义适配器以增强语义内容的保真度，并使用风格提取器作为鉴别器提供辅助风格引导。

Jun, 2024

ArtAdapter 是一种转换性的文本到图像（T2I）风格转移框架，能够超越传统的颜色、画笔和物体形状的限制，捕捉高级风格元素，如构图和独特的艺术表达。通过整合多级风格编码器与我们提出的显式适应机制，ArtAdapter 在风格转移中实现了前所未有的保真度，确保与文本描述的紧密对齐。此外，辅助内容适配器（ACA）的融入有效地将内容与风格分离，减轻了从风格参考中借用内容的问题。此外，我们的新颖快速微调方法可以进一步增强零样式表示，同时减轻过拟合的风险。全面的评估证实了 ArtAdapter 超越了当前最先进的方法。

Dec, 2023

本文基于扩散模型的可控属性，将语言结构与扩散过程相结合，进一步提高了 T2I 模型的组合能力，特别是更准确的属性绑定和更好的图像组合，这得益于跨注意层的帮助和语言洞察力。

Dec, 2022

本文提出了一种基于对比学习范式的新型文本风格转换模型，通过明确收集相似语义句子和设计基于孪生模型的风格分类器，以解决文本样式转换中的内容迁移和样式歧义等问题。针对这些问题，实验结果表明，该模型比现有技术更加有效。

Jan, 2022

Tuning-free diffusion-based models have achieved promising results in image personalization and customization, but still face challenges in style-consistent image generation. This paper introduces InstantStyle, a framework that addresses these challenges by decoupling style and content, and injecting reference image features into style-specific blocks to achieve superior visual stylization outcomes.

Apr, 2024

本文提出了一种多适应网络，它包括两个自适应模块和一个协同适应模块。该模型使用自适应模块分离内容和风格表示，并使用一种新的解缠结损失函数来提取主要的风格模式和确切的内容结构，根据各种输入图像进行相应的调整，这样能够更好地进行样式转移。实验证明，与现有的样式转移方法相比，提出的多适应网络可获得更好的结果。

May, 2020

本文提出了一种新的框架，StyleT2I，旨在改善文本到图像合成的组合性，并且使用 CLIP 引导的对比损失、语义匹配损失和空间约束等方法来识别属性的潜在方向，从而更好地解开属性的潜在表示，最终获得更好的合成图像的组合性。

Mar, 2022

本文提出了一种基于扩散的非监督图像转换方法，使用分离的风格和内容表征，并使用 ViT 模型中的中间键提取多头自注意层作为内容保存损失，并匹配文本驱动风格转移的 [CLS] 分类令牌，同时使用额外的 CLIP 损失，实验结果表明，该方法在文本引导和图像引导的转换任务中优于现有的基准模型。

Sep, 2022