ObjectComposer: 一致生成多个对象而无需进行微调

Oct, 2023

ObjectComposer: 一致生成多个对象而无需进行微调

ObjectComposer: Consistent Generation of Multiple Objects Without Fine-tuning

Alec Helbling, Evan Montoya, Duen Horng Chau

TL;DR现有的文本到图像生成模型在不同语境中生成相同外观的对象方面存在困难，本论文介绍了一种名为 ObjectComposer 的方法，通过不修改底层模型的权重，训练了一种无需 fine-tuning 的方法，可一次生成多个特定对象的组合。

Abstract

Recent text-to-image generative models can generate high-fidelity images from text prompts. However, these models struggle to consistently generate the same objects in different contexts with the same appearance. Consistent object generation is important to many downstream tasks like g

text-to-image generative models consistent object generation fine-tuning objectcomposer blip-diffusion model

发现论文，激发创造

RealCompo：现实主义与构成的动态平衡改进文本到图像扩散模型

我们提出了一种新的训练免费和易于传输的文本到图像生成框架 RealCompo，旨在借鉴文本到图像和布局到图像模型的优势，增强生成图像的真实性和组合性，通过一个直观和新颖的平衡器动态平衡两个模型在去噪过程中的优势，允许任意模型的即插即用使用，广泛实验证明我们的 RealCompo 始终胜过最先进的文本到图像模型和布局到图像模型在多对象组合生成中同时保持令人满意的真实性和组合性。

Feb, 2024

TokenCompose: 基于令牌级监督的语义扩散

TokenCompose 是一种用于文本到图像生成的潜在扩散模型，通过在微调阶段引入图像内容和对象分割映射之间的标记一致性项，改善多类别实例组合，并提高生成图像的逼真度。

Dec, 2023

FastComposer：无需调参的基于局部注意力的多主体图像生成

FastComposer 使用图像编码器提取的主题嵌入来增强扩散模型中的通用文本调节，从而实现了高效的个性化、多主题文本到图像的生成。 FastComposer 通过跨注意力本地化监督和延迟立体雕塑来处理多主题生成中的身份混合问题，并且相对于基于微调的方法获得了数百到数千倍的加速。

May, 2023

可组合扩散模型下的组合视觉生成

通过解释扩散模型为基于能量的模型，在训练和测试阶段中将一组扩散模型组合在一起，结构化生成，该方法可用于合成预训练的文本指导的扩散模型并生成生动逼真的图像，解决了 DALLE-2 在对象属性方面的困难。

Jun, 2022

分而治之：语言模型可用于规划和自我纠正组合式文本到图像生成

我们提出了 CompAgent，这是一种无需训练的组合文本到图像生成方法，核心是一个大型语言模型代理。我们的方法在复杂的文本提示下能够保持对图像的可控性，尤其是在保留对象属性和关系方面，通过先将文本提示分解成独立的对象、属性和场景布局，并引入验证和人类反馈机制来进一步校正属性错误和改进图像生成。

Jan, 2024

文本到图像生成模型中的构成问题的理解和减轻

通过研究基于组合性失败模式，我们发现文本到图像生成模型中 CLIP 文本编码器的文本条件不完备是无法生成高保真组合场景的主要原因，并提出仅通过在 CLIP 表示空间上学习简单的线性投影可以实现最佳组合性改进，同时不降低模型的 FID 分数。

Jun, 2024

基于直接一致性优化的文本到图像个性化

通过最大化与参考图像的一致性并惩罚与预训练模型的偏差，我们提出了一种通过最小程度微调预训练模型以实现一致性的 T2I 扩散模型的新型训练目标，称为 “直接一致性优化”。我们的方法不仅简单而且显著提高了个性化 T2I 模型的组合能力，并引入了一种控制图像保真度和提示保真度权衡的抽样方法。最后，我们强调必须使用详尽的标题作为参考图像，以进一步增强图像和文本的对齐。我们证明了所提方法在 T2I 主题、风格或两者个性化方面的有效性。生成的示例和代码可在我们的项目页面（this https URL）中找到。

Feb, 2024

DreamCom: 文本引导修复式图像合成模型微调

图像合成的目标是将前景对象与背景图像合并以获取逼真的合成图像。最近，基于大型预训练扩散模型的生成式合成方法由于其前所未有的图像生成能力而得到发展。然而，生成的结果往往会丢失前景细节并出现明显的伪影。在本文中，我们提出了一种名为 DreamCom 的尴尬简单方法，灵感来自 DreamBooth。具体来说，给定一个主题的几个参考图像，我们通过微调文本导向修复扩散模型来将该主题与特殊标记相关联，并在指定的边界框内修复该主题。我们还构建了一个专门为此任务设计的新数据集 MureCom。

Sep, 2023

所选之人：文本到图像传播模型中的一致字符

最新的文本到图像生成模型在提供视觉创造力方面有巨大潜力，但在一致性字符生成方面存在困难。本文介绍了一种完全自动化的解决方案，通过文本提示作为唯一输入，使用迭代的过程来生成一致性字符，并展示了其在多个实际应用中的实践。

Nov, 2023

ObjectCompose：评估基于视觉的模型对物体与背景组合变化的弹性

通过利用视觉模型的大规模多模态训练和其广泛适应能力，我们评估当前视觉模型对不同物体与背景环境变化的鲁棒性，并利用生成模型来产生多样化的物体与背景变化，从而量化背景环境对深度神经网络的鲁棒性和泛化能力的影响。

Mar, 2024