Sep, 2023

迭代生成过程的组合塑造

PDF
TL;DR我们提出了一种名为 Compositional Sculpting 的方法，用于定义迭代生成过程的组合，通过分类器指导实现了采样，展示了在 GFlowNets 和扩散模型中实现组成塑造的方法，并提供了在图像和分子生成任务上的实证结果。
generative modelsmodel reusecompositioniterative generative processescompositional sculpting
发现论文，激发创造
  • 复合能力呈现出乘法效应：在合成任务上探索扩散模型

    通过对条件扩散模型的控制实验研究，我们发现生成模型在组合推理任务上的性能是突然出现的，其组合能力取决于底层数据生成过程的结构，并在生成非分布样本时需要更多的优化步骤。

    Oct, 2023

  • 组合式生成建模：一个模型无法满足所有需求

    通过组合较小的生成模型构建大型生成系统，在数据分布中发现并学习更加节约数据的分布，实现对训练中未见的数据分布的泛化，并能够针对完全未见的任务编程和构建新的生成模型。此外，通过数据，我们还能够发现许多情况下的分离组成部分。

    Feb, 2024

  • 减少，重复利用，回收：基于能量扩散模型和 MCMC 的组合生成

    本文探讨了基于评分的解释下的扩散模型的新的条件化方式、修改、及重复利用方法，研究了目前技术下导致某些类型的组合失败的原因，并提出了解决方案，同时提出了基于能量的参数化的扩散模型，该模型得以利用新的组合算子和更复杂的 Metropolis 修正取样器，这些方法在广泛的问题领域对组合生成带来了显著的改进。

    Feb, 2023

  • 可控的图像生成与组合的并行标记预测

    通过组合离散生成模型的对数概率输出，我们提出了一种可控条件图像生成的公式，该方法在 FFHQ、Positional CLEVR 和 Relational CLEVR 三个不同场景中实现了最先进的生成准确性，并达到了竞争性的 Fréchet Inception Distance (FID) 得分，平均生成准确性为 80.71％，平均 FID 为 24.23，与其他方法相比具有 2.3 倍至 12 倍的速度优势，并提供了可解释的控制性维度以及对文本 - 图像生成的精细控制能力。

    May, 2024

  • 可组合扩散模型下的组合视觉生成

    通过解释扩散模型为基于能量的模型，在训练和测试阶段中将一组扩散模型组合在一起，结构化生成，该方法可用于合成预训练的文本指导的扩散模型并生成生动逼真的图像，解决了 DALLE-2 在对象属性方面的困难。

    Jun, 2022

  • 能量基模型下的组合视觉生成与推理

    本文中，我们展示了由能量基模型直接组合概率分布从而展示人类智能的一个重要方面：从简单构想到复杂概念的组合能力。我们的模型能够生成自然图像，同时满足概念的合取、析取和否定等关系。我们在 CelebA 数据集和合成 3D 场景图像上评估了我们模型的组合生成能力，并展示了我们模型的其他优势，如持续学习和整合新概念，或推断图像潜在的概念属性组合。

    Apr, 2020

  • 场景图预测的生成组合增强

    通过使用合成的稀有场景图并基于条件生成对抗网络的模型，可以解决在场景图生成中面临的组合泛化问题，提高新颖组合成分的准确性

    Jul, 2020

  • ControlCom：使用扩散模型进行可控图像合成

    通过使用大规模预训练的扩散模型，我们提出了一种可控的图像合成方法，将图像混合、图像协调、视角综合和生成式合成统一为一个扩散模型，同时设计了一个自监督训练框架和一个定制化的训练数据准备方法，并通过局部增强模块提高合成图像中前景细节的保真性。我们的方法在公共基准和实际数据上进行了评估，结果表明我们的方法比现有方法能够生成更加忠实和可控的合成图像。

    Aug, 2023

  • 组合生成对抗网络：学习图像条件下的二元组合

    本文提出 Composition-by-Decomposition 网络，采用两个独立分布的物体生成具有真实纹理和形状的合成图像，以此捕捉多物体之间的空间相互作用关系，从而在生成场景方面获得更好的效果。

    Jul, 2018

  • 图像生成和编辑的艺术工作流建模

    提出了遵循艺术工作流程的生成模型，能够进行多阶段图像生成和编辑，引入了一种基于学习的正则化优化过程以确保编辑后的图像与原始图像紧密一致，并通过三个不同艺术数据集的定量和定性实验验证了该框架在图像生成和编辑任务上的有效性。

    Jul, 2020