CTRLorALTer: 条件化的 LoRAdapter 用于高效的零样本控制和修改 T2I 模型

May, 2024

CTRLorALTer: 条件化的 LoRAdapter 用于高效的零样本控制和修改 T2I 模型

CTRLorALTer: Conditional LoRAdapter for Efficient 0-Shot Control & Altering of T2I Models

Nick Stracke, Stefan Andreas Baumann, Joshua M. Susskind, Miguel Angel Bautista, Björn Ommer

TL;DR提出了一种名为 LoRAdapter 的方法，该方法通过使用一种新颖的条件 LoRA 模块，在相同的公式下统一了风格和结构条件，实现了零 - shot 控制，从而实现了对文本到图像扩散模型的精细控制条件，并且胜过了最近的最先进方法。

Abstract

text-to-image generative models have become a prominent and powerful tool that excels at generating high-resolution realistic images. However, guiding the generative process of these models to consider detailed forms of

text-to-image generative models conditioning loradapter style and structure fine-grained control

发现论文，激发创造

StyleAdapter：一种适用于风格化图像生成的单通道无 LORA 模型

该研究提出了一种无需 LoRA 的方法，用于风格化图像生成，通过使用文本提示和风格参考图像作为输入，以单次传递生成输出图像。使用统一模型，该方法能够适应多种风格，但面临两个挑战：1）提示在生成内容上失去可控性，2）输出图像同时继承了风格参考图像的语义和风格特征，从而损害其内容的保真度。为解决这些挑战，作者提出了 StyleAdapter，该模型由两个组件组成：双路径交叉注意力模块（TPCA）和三个解耦策略。这些组件使模型能够分别处理提示和风格参考特征，并减少风格参考中语义和风格信息之间的强耦合。StyleAdapter 能够以单次传递生成与提示内容匹配且采用参考的风格的高质量图像，相比以前的方法更灵活高效。实验证明了我们方法的优越性。

Sep, 2023

T2I-Adapter: 学习适配器以挖掘更多可控能力的文本到图像扩散模型

该论文提出了使用轻量级的 T2I 适配器来对图像生成过程进行更加精准的控制，实现在不同条件下的色彩和结构控制，并具有可组合性和广泛的应用前景。

Feb, 2023

分块 LoRA：再探文本到图像生成中的细粒度个性化和风格化

个性化和风格化在文字到图像的任务中都是指导预训练扩散模型分析用户引入的新概念，并将其融入预期的风格。我们提出了基于块级低秩适应（LoRA）的精细调整方法，用于不同块的 SD 进行细粒度的调整，能够生成忠实于输入提示和目标身份且具有所需风格的图像。广泛实验证明了所提出方法的有效性。

Mar, 2024

StyleInject：文本到图像扩散模型的参数高效调优

通过引入 StyleInject，一种针对文本到图像模型的特殊微调方法，以对抗传统的 LoRA 方法在图像生成方面的不足，我们能够显著减小对原始模型的文本 - 图像对齐能力的影响，同时能够在转移学习中灵活地适应不同风格，通过大量实验证明 StyleInject 在文本 - 图像语义一致性和人工评估方面超越传统方法，并在参数效率上有所提升。

Jan, 2024

利用互信息在扩散模型中提供一致字符生成的 ORACLE

通过介绍一种新的方法，本文研究了如何从单一的文本提示产生具有一致的视觉特征的角色表达，通过定量和定性分析，证明了该方法在生成具有一致视觉特征的角色方面优于现有方法，扩展了艺术和创作表达的可能性。

Jun, 2024

LASER: 无需调整的 LLM 驱动的关注控制以实现高效的文本条件图像转动画

通过引入无需微调、编码语言模型驱动的注意力控制框架（LASER），我们提出了一种将语言模型与文本到图像模型相结合的新型框架，用于从单个文本输入创建高质量的动画。

Apr, 2024

多模态指令调节与条件化 LoRA 混合

通过与多模态指令调优相结合，引入了一种综合了条件的低秩适应矩阵 (MixLoRA) 的新方法，旨在减轻任务干扰，实现在多样的多模态任务中具有良好的适应性和灵活性。实验结果表明，MixLoRA 不仅在相同或更高秩的情况下胜过传统的低秩适应方法 LoRA，展现出其在各种多模态评估数据集上的有效性和适应性。

Feb, 2024

个性化 LoRA 用于人本文本理解

提出了一种个性化的 LoRA（PLoRA）方法，采用插拔框架，通过个性化的适应、自适应的 dropout 和最大化互信息的策略，解决了个性化应用中用户标记数量多、语义模糊等问题，从而更好地适应于冷启动情况，并在人文化文本理解任务的全面 / 少量 / 零样本学习场景中超越了现有方法。

Mar, 2024

LoRA-Guard：大型语言模型内容审核的参数高效护栏适应

LoRA-Guard 是一种参数高效的防护栏适应方法，它通过 LLMs 和防护模型之间的知识共享提取语言特征，并使用低秩适配器适应内容调节任务，双路径设计防止生成任务性能降低。它在保持准确性的同时，有效降低参数开销，实现了设备上的内容调节。

Jul, 2024

使用并行低秩适配器从头训练神经网络

深度学习模型的可扩展性受到计算资源、内存和通讯的根本限制。本文在模型预训练中探索了低秩适应（LoRA）方法的应用，介绍了 LoRA-the-Explorer（LTE）算法，通过在计算节点上进行多个低秩头的并行训练来减少同步频率，使用不同视觉数据集进行广泛实验，并证明 LTE 在标准预训练中具有竞争力。

Feb, 2024