Jun, 2016

具有 PixelCNN 解码器的条件图像生成

PDF
TL;DR本研究使用基于 PixelCNN 架构的新图像密度模型探索了有条件的图像生成技术。模型可以以任何的向量作为条件，包括描述性标签或标记或其他网络产生的潜在嵌入向量。当以来自 ImageNet 数据库的类标签作为条件时，模型能够生成多样化、逼真的场景。同时，研究还证明了该模型可以作为强大的自编码器解码器，且具有比 PixelRNN 更高的性能且计算成本更低。
conditional image generationimage density modelpixelcnnclass labelsconvolutional network
发现论文，激发创造
  • PixelGAN 自编码器

    本文介绍了 PixelGAN 自编码器，通过条件生成对抗网络并在潜变量编码上加入不同的先验分布从而对图像信息进行全局对比或局部对比，实现了样式和内容信息的自监督分离，并在 MNIST、SVHN 和 NORB 数据集上实现了竞争力的半监督分类结果。

    Jun, 2017

  • 并行多尺度自回归密度估计

    本研究提出了一种并行化的 PixelCNN 模型，将某些像素组建模为条件独立，实现了更高效的推理和生成，相比每像素逐一生成，采样速度从 O (N) 提升为 O (log N)，实现了 512x512 图像的实用生成。在类条件图像生成、文本图像合成和动作条件视频生成等方面实现了最佳效果。

    Mar, 2017

  • 使用辅助变量的 PixelCNN 模型进行自然图像建模

    本论文探讨自然图像的概率模型，并通过引入辅助变量扩展了 PixelCNN 架构家族的自回归模型，提出了两个新的基于不同图像转换的生成式图像模型，包括图像的分辨率金字塔。该模型解决了现有 PixelCNN 模型的两个已知缺点，并表明其产生的图片样本更加真实。

    Dec, 2016

  • 具有条件卷积层的 cGANs

    本文提出了一种称为条件卷积层的卷积神经网络方法，该方法通过不同的权重生成不同的特征图，并通过简单而有效的方法进行条件调整，从而可以更有效地处理条件特征，金实验结果表明，使用提出的条件卷积层的生成模型可以比使用标准卷积层更好地生成类别相关的图像。

    Jun, 2019

  • 使用投影鉴别器的条件生成对抗网络 (cGANs)

    本文提出了一种新的投影方法来将条件信息纳入 GAN 的鉴别器中，以尊重条件信息在概率模型中的作用，这种方法与当前应用中使用嵌入向量将条件信息与特征向量拼接的大多数条件 GAN 框架形成对比。通过这种修改，我们能够显著提高基于 ILSVRC2012（ImageNet）1000 类图像数据集的类别条件图像生成质量，并且使用单个鉴别器和生成器对此进行了实现。我们还将这种应用扩展到超分辨率，并成功地生成了高度有区别的超分辨率图像。这种新的结构还使基于参数化功能转换的条件批归一化层的高质量类别转换成为可能。

    Feb, 2018

  • 学习预测布局到图像的条件卷积，用于语义图像合成

    通过在生成器中条件化卷积核以更好地利用语义布局，提出一种特征金字塔语义嵌入判别器的多尺度生成对抗网络方法，该方法在各种语义分割数据集上实现了优秀的量化指标和主观评估。

    Oct, 2019

  • 图像、标签和标题的深度变分自编码器

    研发了一种新型变分自编码器，采用 Deep Generative Deconvolutional Network 作为潜在图像特征的解码器，采用卷积神经网络作为图像编码器，支持建模带标签 / 标题的图像；在测试时，通过对分布的平均来预测标签 / 标题。

    Sep, 2016

  • 条件随机场作为循环神经网络

    介绍了一种名为 CRF-RNN 的新型卷积神经网络，该网络将卷积神经网络（CNN）和基于 CRFs 的概率图建模相结合，用于语义图像分割任务，结果在 Pascal VOC 2012 分割基准测试上获得了最好的结果。

    Feb, 2015

  • 像素递归神经网络

    本文介绍了一种深度神经网络模型，用于在两个空间维度上序列预测图像像素；该模型对图像的离散概率进行建模，并在深层循环网络中使用了快速的二维循环层和残差连接，实现了比以前的最新技术更好的自然图像日志似然度分数。

    Jan, 2016

  • 用于自回归模型的局部掩蔽卷积

    使用 LMConv 实现了生成模型的任意序列生成，可以用于图像完成等任务，在整体图像密度估计（2.89 bdp 无条件 CIFAR10）方面取得了改进的性能，同时实现了全局连贯图像完成。

    Jun, 2020