在控制生成方面与文本到图像扩散模型的研究领域，通过调查文献并总结了控制性生成，包括基本概念和实践研究。

Mar, 2024

最近，文字到图像扩散模型成为图像处理领域的一种新范式，包括内容生成、图像恢复和图像到图像的转换。本文提出了一种 Prompt 重新描述策略，以实现扩散模型中源图像和重构图像的镜像效应，从而实现准确的零样本图像翻译。

Jan, 2024

通过 prompt 学习，我们提出了一种学习扩散模型适当文本描述的框架，通过利用预训练扩散模型导出的质量指导和语义指导，我们的方法可以有效地学习提示，从而提高输入文本和生成图像之间的匹配。通过广泛的实验和分析，验证了所提方法的有效性。

Jan, 2024

我们提出了扩散镜，一种用于分析 T2I 模型中的文本编码器的方法，通过从其中间表示生成图像。通过扩散镜，我们对两个最近的 T2I 模型进行了广泛分析。我们发现，描述多个对象的复杂场景相对简单的场景被逐步且更慢地生成；我们还发现，表示不常见概念需要更多计算，并且知识检索在各层之间逐步进行。总的来说，我们的研究结果为 T2I 流程中的文本编码器组件提供了有价值的见解。

Mar, 2024

本文综述了文本到图像扩散模型的发展现状及其在生成任务中的应用；此外，介绍了文本条件下图像合成、文本引导的创意生成和图像编辑，并探讨了当前的挑战和未来方向。

Mar, 2023

Diffusion Partial Information Decomposition (DiffusionPID) is a novel technique applied to decompose the input text prompt, enabling a detailed examination of how individual tokens and their interactions shape the generated image in text-to-image diffusion models, addressing unanswered questions and biases analysis.

Jun, 2024

本文针对文本到图像模型中的特征表征进行了分解，通过学习一个假的标记，将输入文本提示分解为一小组可解释元素，对现有良好的稳定扩散模型进行了应用，我们发现某些概念由特定实例主导，而其他概念则结合具体和抽象的关联术语，此外，我们的方法还可以实现单幅图像分解、偏置检测和缓解以及语义图像操作。

Jun, 2023

提出了一种名为 DiffI2I 的简单、高效和强大的 I2I 扩散模型，通过引入紧凑的 I2I 先验提取网络（CPEN），动态 I2I 转换器（DI2Iformer）和去噪网络来解决了传统 DM 在某些 I2I 任务中的效率和生成能力方面的问题。通过在各种 I2I 任务上进行广泛实验证明，DiffI2I 在显著减少计算负担的同时达到了 SOTA 水平。

Aug, 2023

预测生成式扩散模型所生成图像的文本提示，采用联合回归和多标签词汇分类目标的新型学习框架，结合白盒和黑盒模型解决生成文本提示的问题，并通过课程学习和领域自适应核学习方法进一步改进。实验结果表明，该学习框架在预测文本提示任务上取得了出色的结果，尤其在白盒模型上应用时效果最好，并发现在生成文本到图像时将该模型用于回收训练能够使生成的图像与输入提示更好地对齐。

Aug, 2023

介绍了一种信息丰富的扩散模型，名为 ParaDiffusion，用于段落到图像生成任务，通过利用大型语言模型来提升图像生成模型的语义理解能力，并在长文本语义对齐训练方面取得了优异结果。

Nov, 2023