Apr, 2020

能量基模型下的组合视觉生成与推理

PDF
TL;DR本文中，我们展示了由能量基模型直接组合概率分布从而展示人类智能的一个重要方面：从简单构想到复杂概念的组合能力。我们的模型能够生成自然图像，同时满足概念的合取、析取和否定等关系。我们在 CelebA 数据集和合成 3D 场景图像上评估了我们模型的组合生成能力，并展示了我们模型的其他优势，如持续学习和整合新概念，或推断图像潜在的概念属性组合。
energy-based modelscomposition of conceptsnatural image generationconcept propertieslearning
发现论文，激发创造
  • 无监督学习组合能量概念

    本论文提出 COMET 方法，利用能量函数来表示全局和局部因素，并通过图像重新组合进行无监督发现概念，最终能够泛化未知的视觉概念，并与其他数据集进行概念组合。

    Nov, 2021

  • 可组合扩散模型下的组合视觉生成

    通过解释扩散模型为基于能量的模型，在训练和测试阶段中将一组扩散模型组合在一起，结构化生成，该方法可用于合成预训练的文本指导的扩散模型并生成生动逼真的图像，解决了 DALLE-2 在对象属性方面的困难。

    Jun, 2022

  • 具有可控性和组合性的潜空间能量模型生成

    本研究探讨基于能量的模型在控制性生成方面的表现，提出了一种在 StyleGan 的潜在空间中处理组合生成的能量模型，并且通过逻辑运算实现了高分辨率图像的组合生成。

    Oct, 2021

  • 视觉概念学习中的组合多样性

    本文探讨了人类与计算机视觉模型在不同类型的视觉组合任务中的差异，通过大程序空间中的最佳程序来生成具有丰富关系结构的候选视觉对象，发现人类和程序感知上存在着一些相同点，同时在一些结构上存在不同，其中，形成新的概念主要涉及到的是组合机制和抽象。

    May, 2023

  • 减少，重复利用，回收：基于能量扩散模型和 MCMC 的组合生成

    本文探讨了基于评分的解释下的扩散模型的新的条件化方式、修改、及重复利用方法，研究了目前技术下导致某些类型的组合失败的原因，并提出了解决方案，同时提出了基于能量的参数化的扩散模型，该模型得以利用新的组合算子和更复杂的 Metropolis 修正取样器，这些方法在广泛的问题领域对组合生成带来了显著的改进。

    Feb, 2023

  • 组合式生成建模：一个模型无法满足所有需求

    通过组合较小的生成模型构建大型生成系统，在数据分布中发现并学习更加节约数据的分布，实现对训练中未见的数据分布的泛化，并能够针对完全未见的任务编程和构建新的生成模型。此外，通过数据，我们还能够发现许多情况下的分离组成部分。

    Feb, 2024

  • 可控的图像生成与组合的并行标记预测

    通过组合离散生成模型的对数概率输出，我们提出了一种可控条件图像生成的公式，该方法在 FFHQ、Positional CLEVR 和 Relational CLEVR 三个不同场景中实现了最先进的生成准确性，并达到了竞争性的 Fréchet Inception Distance (FID) 得分，平均生成准确性为 80.71％，平均 FID 为 24.23，与其他方法相比具有 2.3 倍至 12 倍的速度优势，并提供了可解释的控制性维度以及对文本 - 图像生成的精细控制能力。

    May, 2024

  • 文本与图像生成模型实现无监督组合概念发现

    本文介绍了一种基于无监督学习的方法，探讨反向问题 —— 如何从图像集合中发现代表每个图像的生成概念，进一步利用这些生成概念生成新的艺术和混合图像，并将其用作下游分类任务的一种表示。

    Jun, 2023

  • 复合能力呈现出乘法效应：在合成任务上探索扩散模型

    通过对条件扩散模型的控制实验研究，我们发现生成模型在组合推理任务上的性能是突然出现的，其组合能力取决于底层数据生成过程的结构，并在生成非分布样本时需要更多的优化步骤。

    Oct, 2023

  • 能量基模型中的隐式生成和泛化

    本文介绍了一些在连续神经网络上训练 MCMC 的能量基础模型的技术，在许多高维度数据域上，如 ImageNet 和 CIFAR-10, 它们的样本表现优于其他可能性模型，并接近当代生成对抗网络 GAN 的表现，同时覆盖所有数据模态。此外，作者还阐述了基于 EBM 的独特能力，如组合性和损坏图像的重建和修复，最后证明 EBMs 模型是跨多种任务有用的模型，进而实现了最先进的超出分布分类、对抗性稳健分类、在线连续类学习和连续长期预测轨迹

    Mar, 2019