本文通过分析现有的文本到图像生成模型，发现它们可能存在的主体遗漏及属性捆绑问题，通过介绍“生成语义护理”（GSN）的概念和基于注意力机制的Attend-and-Excite方法，可以在推理过程中实时干预生成过程，大大提高所生成图像的真实性和语义连贯性。

Jan, 2023

该论文介绍了一种使用预训练大型语言模型对扩散模型进行增强推理能力的方法，包括两个阶段：第一阶段使用大型语言模型生成场景布局；第二阶段使用一个新的控制器，来生成与布局条件相符的图像。实验结果表明，该方法能更准确地生成需要语言和空间推理的图像。

May, 2023

此篇论文提出了一种名为Prompt-Free Diffusion的图像合成框架，该框架基于仅视觉输入，不需要文本提示就能生成新图像，其核心架构是语义上下文编码器(SeeCoder)，该框架在图像合成方面表现出色，不仅在基于示例的合成方法方面优于先前的方法，在遵循最佳实践的提示下，也能与最先进的T2I模型相媲美。

May, 2023

本文提出FineRewards方法，通过引入两种细粒度语义奖励——caption reward 和 SAM reward，从两个语义视角提升text-to-image中文本和图像的匹配，实现模态对齐。在使用多个奖励函数指导训练的时候，FineRewards方法在MS-COCO基准测试上优于其他基准奖励函数，并且与当前图像奖励的统一进一步提高了模型性能。

May, 2023

通过使生成的图像内容与用户意图一致的提示，该方法利用扩散模型进行串行优化得到直观的语言提示，从而产生具有相似内容的多样化图像。

Dec, 2023

最近的文本到图像(T2I)扩散模型的进展在生成具有零样本泛化能力的高质量图像方面取得了令人印象深刻的成功。然而，当前的模型在紧密遵循提示语义方面存在困难，通常会误代或忽视特定属性。为了解决这个问题，我们提出了一种简单的、无需训练的方法，在推理过程中调节扩散模型的引导方向。我们首先将提示语义分解为一组概念，并监控与每个概念相关的引导轨迹。我们的关键观察是，模型在遵循提示语义方面的偏离与引导从一个或多个概念偏离的差异高度相关。基于这一观察，我们设计了一种技术，将引导方向引导至模型偏离的任何概念。广泛的实验验证了我们的方法可以改善扩散模型对提示的语义对齐。项目页面可在此链接上找到: this https URL

Dec, 2023

DiffusionGPT结合了扩散模型、文本到图像系统和领域特定树，提供了一个统一的生成系统，能够适应各种类型的提示并集成领域专家模型，推动了多领域图像合成的边界。

Jan, 2024

提出一种全新的基于训练自由的文本到图像生成/编辑框架RPG，该框架利用多模态LLMs的强大联想推理能力，提高了文本到图像扩散模型的组合性，并在多类别对象组合和文本-图像语义对齐方面优于DALL-E 3和SDXL等最先进的文本到图像扩散模型。

Jan, 2024

我们提出了扩散镜，一种用于分析T2I模型中的文本编码器的方法，通过从其中间表示生成图像。通过扩散镜，我们对两个最近的T2I模型进行了广泛分析。我们发现，描述多个对象的复杂场景相对简单的场景被逐步且更慢地生成；我们还发现，表示不常见概念需要更多计算，并且知识检索在各层之间逐步进行。总的来说，我们的研究结果为T2I流程中的文本编码器组件提供了有价值的见解。

Mar, 2024

LLM4GEN通过结合LLMs特征设计的Cross-Adapter模块，有效提高了复杂和密集提示的语义理解能力，为text-to-image生成任务带来了显著改进，并在sample质量、图像文本对齐和人工评估方面超越了现有的最先进模型。

Jun, 2024