本文介绍了一种基于Custom Diffusion的文本到图像生成模型，只需少量优化参数即可表示新概念并实现快速调整，还可以通过约束优化共同训练多个概念或组合多个微调模型，并在新颖的环境中将多个概念无缝组合生成，此方法在记忆和计算效能方面都占有优势。

Dec, 2022

通过设计一种多模态文本到图像扩散模型（DiffBlender），可以同时引入多种不同类型的细节表达方式，如草图、盒子和风格嵌入等，不需要更改现有模型的参数，从而在单个模型中实现条件生成，并且通过量化和定性比较，将多模态生成的标准提高到了新的水平。

May, 2023

这篇论文介绍了创造性文本到图像生成的任务，并使用未经研究的扩散先验模型来解决此问题，同时通过一个问题回答模型来逐渐发现越来越独特的创作，最后展示了先验约束不仅作为强大的混合机制，还能引入更多的灵活性。

Aug, 2023

通过对预训练文本到图像扩散模型中的文本嵌入进行微调，我们设计了一种低成本的解决方案，实现自然多概念文本到图像生成，并在扩散步骤中不增加附加的训练或推理成本。我们的方法通过收集与最相似的令牌的语义特征来定位贡献，并应用交叉令牌非极大值抑制来避免不同概念之间的特征混合，从而在文本到图像、图像操作和个性化任务中优于以前的方法。

Oct, 2023

通过CatVersion方法，在扩散模型的文本编码器的特征密集空间上连接嵌入，通过学习个性化概念与其基准类之间的差距来最大限度地保留先前知识，从而实现文本到图像的个性化转换，并利用改进的CLIP图像对齐得分来量化结果，展现出更忠实和更强大的编辑效果。

Nov, 2023

我们提出了一个概念驱动的文本到图像（TTI）个性化框架，通过学习用户提供的图像示例中的概念，以及一种交替优化过程，进一步改进了现有的TTI模型，使其能够生成具有多个交互概念的图像。

Feb, 2024

我们提出了一种有效且快速的方法，可在不进行任何微调的情况下生成个性化图像，并保持扩散模型内在的文本到图像生成能力。通过操作原始扩散模型的交叉注意力和自注意力层，将自定义概念合并到生成图像中，以生成与文本描述相匹配的个性化图像。综合实验突出了我们方法的优越性。

Mar, 2024

该论文介绍了一种在推导阶段用于组合定制化的文本到图像扩散模型的方法——Concept Weaver。该方法将过程分为两个步骤：创建与输入提示语义对齐的模板图像，然后使用概念融合策略个性化该模板。研究结果表明，与替代方法相比，我们的方法能够生成具有较高身份保真度的多个定制概念。此外，该方法能够无缝处理多个概念，并且在紧密遵循输入提示的语义含义时不会混合不同主题的外观。

Apr, 2024

个性化残差和局部关注引导采样，用于使用文本到图像扩散模型的高效概念驱动生成。

May, 2024

LLM4GEN通过结合LLMs特征设计的Cross-Adapter模块，有效提高了复杂和密集提示的语义理解能力，为text-to-image生成任务带来了显著改进，并在sample质量、图像文本对齐和人工评估方面超越了现有的最先进模型。

Jun, 2024