我们提出了一种弱监督方法，实现复杂场景下的有条件图像生成，在该方法中，用户可以对场景中出现的对象进行精细控制。我们利用稀疏语义地图来控制对象的形状和类别，以及文本描述或属性来控制局部和全局风格，同时引入语义注意力模块来支持文本描述的条件，该模块的计算成本与图像分辨率无关。为了进一步增强场景的可控性，我们提出了一个两步生成方案来分解背景和前景。我们使用大词汇目标检测器产生的标签地图来训练模型，这使我们能够访问未注释的数据，并提供结构化实例信息。在这样的设置下，我们报告了比全监督设置更好的 FID 得分。我们还展示了我们的模型在 COCO 和 Visual Genome 等复杂数据集上操作场景的能力。

Dec, 2019

通过组合离散生成模型的对数概率输出，我们提出了一种可控条件图像生成的公式，该方法在 FFHQ、Positional CLEVR 和 Relational CLEVR 三个不同场景中实现了最先进的生成准确性，并达到了竞争性的 Fréchet Inception Distance (FID) 得分，平均生成准确性为 80.71％，平均 FID 为 24.23，与其他方法相比具有 2.3 倍至 12 倍的速度优势，并提供了可解释的控制性维度以及对文本 - 图像生成的精细控制能力。

May, 2024

本论文提出了两种新方法来改善图像字幕模型的多样性、可控性和句子生成质量，并使用图像文本匹配模型来选择更好的句子。实验结果表明，这些方法可以显著提高模型的性能。

Jan, 2021

这项研究提出了一种利用反馈机制来控制文本到图像生成模型，以生成对监督学习特别有用的训练数据的方法，并且通过引入指导目标分布的反馈机制，演示了该方法在不同任务、数据集和架构上相对于开环方法的有效性。

Mar, 2024

本文提出了一种新的交互式图像生成方案，以定位细粒度为目标，评价了生成模型控制位置的能力，并在图像质量和控制能力方面均表现出超过最先进方法的效果。

Apr, 2023

该论文提出了一种新颖的可控文本到图像生成对抗网络 (ControlGAN)，它能够有效地合成高质量图像并根据自然语言描述控制图像的生成。该方法采用词级空间和通道注意力机制对不同的视觉属性进行分离，并通过词级鉴别器提供细粒度的监督反馈，使生成器能够对特定的视觉属性进行操作。通过大量的实验证明，我们的方法优于现有的最先进技术，并能够通过自然语言描述有效地操作合成图像。

Sep, 2019

本文介绍了一种比较复杂场景条件生成模型的方法，分析了每种模型的性能和优势，发现通过对实例化空间调节规范化等措施可以提高对看得到和看不到的物体组合条件的泛化性能，同时应用语义损失可改善生成过程中的某些方面。

Dec, 2020

基于扩散模型的文字引导图像生成在开放领域图像处理任务中取得了令人惊讶的进展，本研究提出了一种混合专家控制器的方法，以将不同类型的人类指令与不同的扩散模型的文字引导能力相结合，实现对各种开放领域图像处理任务的处理。

Sep, 2023

通过强化学习训练的方法，本研究提出了一种无需演示或拼贴艺术作品数据即可学习制作拼贴艺术的方法。通过设计了拼贴马尔科夫决策过程（MDP），并使用基于模型的软性演员 - 评论家算法来降低拼贴过程的训练难度；此外，本研究还采用了主动材料选择和基于复杂度的多尺度拼贴等技术来处理任意尺寸的目标图像，并通过在复杂区域放置更多碎片来提高结果的美感。实验结果表明，训练得到的智能体能够适当地选择和粘贴材料，以拼贴的形式重新生成目标图像，并在内容和风格评估方面获得比基于像素生成方法更高的评分。

Nov, 2023

我们提出了一种新的无标签条件的扩散模型，通过神经语意图像合成从预训练基础模型提取的神经布局作为条件来实现细粒度的空间控制，实验结果表明，通过神经语意图像合成合成的图片在语义分类、实例分离和物体方向上比较传统的无标签条件选项更具优势，同时，我们还展示了通过神经布局条件生成的图片能够有效地用于训练各种感知任务。

Jul, 2024