May, 2024

可控的图像生成与组合的并行标记预测

PDF
TL;DR通过组合离散生成模型的对数概率输出，我们提出了一种可控条件图像生成的公式，该方法在 FFHQ、Positional CLEVR 和 Relational CLEVR 三个不同场景中实现了最先进的生成准确性，并达到了竞争性的 Fréchet Inception Distance (FID) 得分，平均生成准确性为 80.71％，平均 FID 为 24.23，与其他方法相比具有 2.3 倍至 12 倍的速度优势，并提供了可解释的控制性维度以及对文本 - 图像生成的精细控制能力。
compositional image generationdiscrete generative modelscontrollable conditional generationvq-vaevq-gan
发现论文，激发创造
  • 文本与图像生成模型实现无监督组合概念发现

    本文介绍了一种基于无监督学习的方法，探讨反向问题 —— 如何从图像集合中发现代表每个图像的生成概念，进一步利用这些生成概念生成新的艺术和混合图像，并将其用作下游分类任务的一种表示。

    Jun, 2023

  • 能量基模型下的组合视觉生成与推理

    本文中，我们展示了由能量基模型直接组合概率分布从而展示人类智能的一个重要方面：从简单构想到复杂概念的组合能力。我们的模型能够生成自然图像，同时满足概念的合取、析取和否定等关系。我们在 CelebA 数据集和合成 3D 场景图像上评估了我们模型的组合生成能力，并展示了我们模型的其他优势，如持续学习和整合新概念，或推断图像潜在的概念属性组合。

    Apr, 2020

  • 具有可控性和组合性的潜空间能量模型生成

    本研究探讨基于能量的模型在控制性生成方面的表现，提出了一种在 StyleGan 的潜在空间中处理组合生成的能量模型，并且通过逻辑运算实现了高分辨率图像的组合生成。

    Oct, 2021

  • ControlCom：使用扩散模型进行可控图像合成

    通过使用大规模预训练的扩散模型，我们提出了一种可控的图像合成方法，将图像混合、图像协调、视角综合和生成式合成统一为一个扩散模型，同时设计了一个自监督训练框架和一个定制化的训练数据准备方法，并通过局部增强模块提高合成图像中前景细节的保真性。我们的方法在公共基准和实际数据上进行了评估，结果表明我们的方法比现有方法能够生成更加忠实和可控的合成图像。

    Aug, 2023

  • 迭代数据属性相互映射的可控数据生成

    该论文提出了一个通用框架，以增强基于 VAE 的数据生成器的属性可控性和确保解缠。通过在训练集中对看到和未看到的数据进行优化，我们的目标在短时间内能够更精确地控制生成样本的属性，保证解缠并保持生成样本的有效性。

    Oct, 2023

  • 自回归图像生成与集成量化

    本文提出了一个基于深度生成模型的图像生成网络，结合卷积神经网络的归纳偏置和自回归的序列建模，通过多重领域特征的变量规范，设计了分布估计的 Gumbel 采样策略来提高图像的生成质量并克服于训练和推理过程中所产生的偏差和误差，取得了当前同类算法中最优秀的生成表现。

    Jul, 2022

  • 可控制的图像生成：基于拼贴表现

    本论文使用图像拼贴和对抗训练的方式，通过感知特征和空间位置控制元素，从而提高条件生成模型的场景可控性，并在 OpenImages 数据集上进行了实验验证。

    Apr, 2023

  • 文本到图像生成模型中的构成问题的理解和减轻

    通过研究基于组合性失败模式，我们发现文本到图像生成模型中 CLIP 文本编码器的文本条件不完备是无法生成高保真组合场景的主要原因，并提出仅通过在 CLIP 表示空间上学习简单的线性投影可以实现最佳组合性改进，同时不降低模型的 FID 分数。

    Jun, 2024

  • 组合生成对抗网络：学习图像条件下的二元组合

    本文提出 Composition-by-Decomposition 网络，采用两个独立分布的物体生成具有真实纹理和形状的合成图像，以此捕捉多物体之间的空间相互作用关系，从而在生成场景方面获得更好的效果。

    Jul, 2018

  • 可组合扩散模型下的组合视觉生成

    通过解释扩散模型为基于能量的模型，在训练和测试阶段中将一组扩散模型组合在一起，结构化生成，该方法可用于合成预训练的文本指导的扩散模型并生成生动逼真的图像，解决了 DALLE-2 在对象属性方面的困难。

    Jun, 2022