MasaCtrl: 无需调参实现图像合成和编辑的自注意力控制

Apr, 2023

MasaCtrl: 无需调参实现图像合成和编辑的自注意力控制

MasaCtrl: Tuning-Free Mutual Self-Attention Control for Consistent Image Synthesis and Editing

Mingdeng Cao, Xintao Wang, Zhongang Qi, Ying Shan, Xiaohu Qie...

TL;DR提出了一种名为 MasaCtrl 的调整无需微调的方法，能够同时实现一致的图像生成和复杂的非刚性图像编辑。具体来说，该方法将扩散模型中的自我注意力转换为相互自我注意力，以便对源图像进行一致的局部内容和纹理查询。同时，还提出了一种掩码引导的相互关注策略，可减轻前景和背景之间的查询混乱。大量实验证明，该方法可以在一致的图像生成和复杂的非刚性真实图像编辑方面产生令人印象深刻的结果。

Abstract

Despite the success in large-scale text-to-image generation and text-conditioned image editing, existing methods still struggle to produce consistent generation and editing results. For example, generation approa

image generation image editing non-rigid editing self-attention mutual self-attention

发现论文，激发创造

基于视图迭代自注意力控制的无调整视觉定制化

本文提出了 View Iterative Self-Attention Control (VisCtrl) 作为一种无需进行模型微调的训练方法，通过逐步将参考图像的特征嵌入目标图像，实现了一次去噪便能实现一张参考图像的一致和谐编辑，而且该方法还能在复杂的视觉领域进行扩展。

Jun, 2024

基于无需调优的增强逆控制的一致图像编辑

提出了一种名为 Tuning-free Inversion-enhanced Control (TIC) 的新方法，通过直接关联反演过程和采样过程的特征来缓解 DDIM 重建中的不一致性，实现准确的重建和内容一致性编辑。通过实验证明，该方法在重建和一致性编辑方面优于以前的工作，在各种设置中产生了令人印象深刻的结果。

Dec, 2023

UniCtrl：通过无需训练的统一注意力控制提升文本到视频扩散模型的时空一致性

通过引入 UniCtrl 方法，我们解决了使用文本提示作为控制条件时保持一致性的挑战，提升了文本到视频模型生成的视频的时空一致性和运动多样性，实验证实了其效果和普适性。

Mar, 2024

FreeCustom：无需调整参数的多概念组合定制图像生成

提出一种基于参考概念的无需微调的方法生成多概念组合的定制图像，仅需每个概念一幅图像作为输入。通过引入多参考自注意力机制和加权蒙版策略，产生与给定概念一致且更好地与输入文本对齐的图像。与其他基于训练的方法相比，在多概念组合和单概念定制方面，方法表现优秀且更简单。

May, 2024

LASER: 无需调整的 LLM 驱动的关注控制以实现高效的文本条件图像转动画

通过引入无需微调、编码语言模型驱动的注意力控制框架（LASER），我们提出了一种将语言模型与文本到图像模型相结合的新型框架，用于从单个文本输入创建高质量的动画。

Apr, 2024

基于图像和文本引导的无需调参图像定制

通过无需调整的方法，本文提出了一种同时利用文本和图像指导的图像定制方法，允许在几秒钟内精确编辑特定图像区域，通过创新的注意力混合策略，本方法在图像定制中表现优异，是一种高效的解决方案。

Mar, 2024

RealCraft：关注控制：零样本长视频编辑的解决方案

在这篇论文中，我们提出了一种基于注意力控制的方法，名为 RealCraft，用于零样本编辑实际视频。通过在提示和帧之间进行对象为中心的处理，并在帧内使用时空注意力，我们实现了精确的形状编辑以及增强的一致性。我们的模型可以直接与稳定的扩散一起使用，并且不需要额外的局部信息。我们展示了我们的零样本注意控制方法在各种长度的视频中进行定位、高保真度、形状精确和时间一致的编辑。

Dec, 2023

针对空间控制文本到图像生成的遮蔽注意力扩散引导

用不需要额外的训练的方法，通过交叉关注地图和掩膜引导实现文本到图像生成的空间控制。实验结果表明，所提出的方法在定性和定量上比基线方法实现了更准确的空间控制。

Aug, 2023

扩散模型的注意力映射控制组合式文本到图像合成

本文提出了一种基于预测的物体框的注意力掩码控制策略，以解决文本到图像合成模型在语义上的局限性，尤其是属性泄漏、实体泄漏和缺失实体，该方法通过约束查询语句中每个标记的注意区域来实现更准确的语义综合，此外，该方法简单而有效，可以轻松集成到现有的跨注意力扩散 T2I 生成器中，并成功地在生成内容中传达了原始文本的语义，并作为可用的插件得到了高可用性的证明。

May, 2023

MAG-Edit：基于掩模的注意力调整引导的复杂情景下的局部图像编辑

我们开发了 MAG-Edit，这是一种无需训练、推断阶段优化的方法，能够在复杂场景中进行局部图像编辑。MAG-Edit 通过最大化编辑标记的两个基于掩模的交叉注意力约束来优化扩散模型中的噪声潜在特征，逐渐增强与所需提示的局部对齐。大量的定量和定性实验证明了我们的方法在复杂场景中实现了文本对齐和结构保护的有效性。

Dec, 2023