PrimeComposer：基于注意力引导的图像合成的快速逐步组合扩散

Mar, 2024

PrimeComposer：基于注意力引导的图像合成的快速逐步组合扩散

PrimeComposer: Faster Progressively Combined Diffusion for Image Composition with Attention Steering

Yibin Wang, Weizhong Zhang, Jianwei Zheng, Cheng Jin

TL;DR本论文提出了 PrimeComposer，一种快速训练无关的扩散器，通过在不同噪声水平上精心设计的注意力引导来组合图像。该方法主要通过使用我们的关联扩散器，在每个步骤上利用其自注意层来实现。我们的方法在前景生成、合成质量和推理效率方面都表现出卓越的优势。

Abstract

image composition involves seamlessly integrating given objects into a specific visual context. The current training-free methods rely on composing attention weights from several samplers to guide the generator.

image composition attention weights foreground generation primecomposer correlation diffuser

发现论文，激发创造

FastComposer：无需调参的基于局部注意力的多主体图像生成

FastComposer 使用图像编码器提取的主题嵌入来增强扩散模型中的通用文本调节，从而实现了高效的个性化、多主题文本到图像的生成。 FastComposer 通过跨注意力本地化监督和延迟立体雕塑来处理多主题生成中的身份混合问题，并且相对于基于微调的方法获得了数百到数千倍的加速。

May, 2023

ControlCom：使用扩散模型进行可控图像合成

通过使用大规模预训练的扩散模型，我们提出了一种可控的图像合成方法，将图像混合、图像协调、视角综合和生成式合成统一为一个扩散模型，同时设计了一个自监督训练框架和一个定制化的训练数据准备方法，并通过局部增强模块提高合成图像中前景细节的保真性。我们的方法在公共基准和实际数据上进行了评估，结果表明我们的方法比现有方法能够生成更加忠实和可控的合成图像。

Aug, 2023

无需训练的基于预训练扩散模型的语义视频合成

通过使用一个预训练的扩散模型，处理具有更大语义差异的复合视频，我们的研究提出了一个无需训练的流程，以确保输出的视觉协调性和跨帧连贯性。

Jan, 2024

DreamCom: 文本引导修复式图像合成模型微调

图像合成的目标是将前景对象与背景图像合并以获取逼真的合成图像。最近，基于大型预训练扩散模型的生成式合成方法由于其前所未有的图像生成能力而得到发展。然而，生成的结果往往会丢失前景细节并出现明显的伪影。在本文中，我们提出了一种名为 DreamCom 的尴尬简单方法，灵感来自 DreamBooth。具体来说，给定一个主题的几个参考图像，我们通过微调文本导向修复扩散模型来将该主题与特殊标记相关联，并在指定的边界框内修复该主题。我们还构建了一个专门为此任务设计的新数据集 MureCom。

Sep, 2023

无需训练的结构扩散引导的组合文本到图像合成

本文基于扩散模型的可控属性，将语言结构与扩散过程相结合，进一步提高了 T2I 模型的组合能力，特别是更准确的属性绑定和更好的图像组合，这得益于跨注意层的帮助和语言洞察力。

Dec, 2022

无需训练的增强主体注意力引导的文本到图像生成

我们提出了一种主题驱动的生成框架，通过介入生成过程中的推理时间，强化注意力图，实现精确的属性绑定和特征注入，展示了卓越的零次生成能力，尤其在组合生成的挑战性任务中。

May, 2024

深度图像合成

该论文介绍了一种利用前景和背景图片的上下文和颜色信息进行端到端优化并采用自学习策略来训练的，能够自动生成高质量图像合成的新方法，该方法基于拉普拉斯金字塔融合，提出了一种密集的多流融合网络，并在易于复杂的情况下进行渐进式训练，其在定性和定量上均优于现有方法。

Nov, 2020

可组合扩散模型下的组合视觉生成

通过解释扩散模型为基于能量的模型，在训练和测试阶段中将一组扩散模型组合在一起，结构化生成，该方法可用于合成预训练的文本指导的扩散模型并生成生动逼真的图像，解决了 DALLE-2 在对象属性方面的困难。

Jun, 2022

扩散模型下的图像融合

通过应用扩散模型，我们比较了两种条件性扩散模型 (Classifier-Guidance 和 Classifier-Free) 在处理前景图像的亮度和颜色调整，从而达到与背景无缝融合的视觉效果，提出了一种新的图像和谐化方法。

Jun, 2023

分离增强：用于文本到图像扩散模型的组合调优

通过引入两种新目标函数（Separate loss 和 Enhance loss），减少物体遮挡区域重叠和最大化注意力分数，本研究提出了一个与传统方法不同的图文生成模型，通过关键参数的微调提高了其可扩展性和通用性，在图像真实性、文本 - 图像对齐性和适应性方面表现出卓越性能，将 Text-to-Image 扩散模型的组合能力和广泛适用性提升到了一个新的水平。

Dec, 2023