Sep, 2023

StyleAdapter：一种适用于风格化图像生成的单通道无 LORA 模型

PDF
TL;DR该研究提出了一种无需 LoRA 的方法，用于风格化图像生成，通过使用文本提示和风格参考图像作为输入，以单次传递生成输出图像。使用统一模型，该方法能够适应多种风格，但面临两个挑战：1）提示在生成内容上失去可控性，2）输出图像同时继承了风格参考图像的语义和风格特征，从而损害其内容的保真度。为解决这些挑战，作者提出了 StyleAdapter，该模型由两个组件组成：双路径交叉注意力模块（TPCA）和三个解耦策略。这些组件使模型能够分别处理提示和风格参考特征，并减少风格参考中语义和风格信息之间的强耦合。StyleAdapter 能够以单次传递生成与提示内容匹配且采用参考的风格的高质量图像，相比以前的方法更灵活高效。实验证明了我们方法的优越性。
发现论文，激发创造
  • CTRLorALTer: 条件化的 LoRAdapter 用于高效的零样本控制和修改 T2I 模型

    提出了一种名为 LoRAdapter 的方法，该方法通过使用一种新颖的条件 LoRA 模块，在相同的公式下统一了风格和结构条件，实现了零 - shot 控制，从而实现了对文本到图像扩散模型的精细控制条件，并且胜过了最近的最先进方法。

    May, 2024

  • 分块 LoRA：再探文本到图像生成中的细粒度个性化和风格化

    个性化和风格化在文字到图像的任务中都是指导预训练扩散模型分析用户引入的新概念，并将其融入预期的风格。我们提出了基于块级低秩适应（LoRA）的精细调整方法，用于不同块的 SD 进行细粒度的调整，能够生成忠实于输入提示和目标身份且具有所需风格的图像。广泛实验证明了所提出方法的有效性。

    Mar, 2024

  • 使用 B-LoRA 实现隐式样式内容分离

    使用 B-LoRA 方法，通过分析 SDXL 和 LoRA 的结构，提出了一种隐式分离单一图像的样式和内容组件的方法，从而有效改进图像样式处理，解决模型微调时常见的过拟合问题。

    Mar, 2024

  • DiffStyler：基于扩散的局部图像风格转移

    DiffStyler 是一种新方法，通过利用基于 LoRA 的文本到图像扩散模型来实现高效且精确的任意图像风格转移，该方法结合了跨 LoRA 特征和注意注入的策略，旨在在内容保持和风格整合之间取得更和谐的平衡。

    Mar, 2024

  • 图像生成的多 LoRA 组合

    通过解码为中心的视角，本研究提出了两种无需训练的方法：LoRA Switch 和 LoRA Composite，分别通过在去噪步骤中交替使用不同的 LoRA 和同时整合所有的 LoRA，以更好地指导图像合成，从而提高了综合性能，在组合中增加 LoRA 的数量时尤为明显。

    Feb, 2024

  • 结构一致的文本驱动风格迁移中的自适应风格融合

    本研究提出了一种创新的文本驱动风格转移任务解决方案，名为自适应风格融合（ASI），通过 Siamese Cross-Attention（SiCA）、Adaptive Content-Style Blending（AdaBlending）模块来实现细粒度的特征级风格融合，并在结构保持和风格化效果方面展现出更好的性能。

    Apr, 2024

  • StyleInject：文本到图像扩散模型的参数高效调优

    通过引入 StyleInject，一种针对文本到图像模型的特殊微调方法，以对抗传统的 LoRA 方法在图像生成方面的不足，我们能够显著减小对原始模型的文本 - 图像对齐能力的影响，同时能够在转移学习中灵活地适应不同风格，通过大量实验证明 StyleInject 在文本 - 图像语义一致性和人工评估方面超越传统方法，并在参数效率上有所提升。

    Jan, 2024

  • PromptStyler：基于提示的无源域泛化模型生成

    PromptStyler 通过合成各种样式来模拟联合空间中的各种分布变化，而无需使用任何图像来处理无源域泛化，其方法通过可学习的样式词向量生成各种样式特征，并将样式内容特征与其对应的内容特征在联合视觉语言空间中相邻，从而确保学到的样式不会扭曲内容信息。在 PACS，VLCS，OfficeHome 和 DomainNet 等数据集上，PromptStyler 取得了最先进的结果，尽管它不需要任何图像，并且只需要使用单个 GPU 进行大约 30 分钟的训练。

    Jul, 2023

  • 利用交换自注意力进行视觉风格激活

    我们提出了一种新颖的方法来产生各种不同风格的图像，并保持特定的风格元素和细微差别，这种方法通过在去噪过程中，在最后的自注意力层中将查询从原始特征保留，而将关键字和值与参考特征交换，实现了视觉风格提示而无需任何微调，确保生成的图像保持忠实的风格。通过对各种风格和文本提示进行广泛评估，我们的方法表现出超越现有方法的优势，在最准确地匹配文本提示的情况下最好地反映出参考的风格，我们的项目页面在这里提供。

    Feb, 2024

  • StyleCrafter：通过风格适配器提升风格化文本到视频生成

    通过引入 StyleCrafter 方法，扩展预训练的 T2V 模型，实现风格控制适配器，通过提供参考图像在任何风格下生成视频。通过首先使用富有风格的图像数据集训练一个风格控制适配器，然后通过独立的学习策略从参考图像中提取风格信息，在文字提示中去除风格描述，实现内容和风格的分离，通过一个自适应融合模块平衡文本内容特征和图像风格特征的影响，StyleCrafter 能够高效生成与文本内容一致且符合参考图像风格的高质量风格化视频，并且实验证明我们的方法比现有竞争对手更灵活和高效。

    Dec, 2023