ICLRMay, 2019

异质编码随机生成对抗网络的变分方法应用于图文联合建模

PDF
TL;DR本文提出了可变异率异质编码器随机生成对抗网络 (VHE-GAN)，并将其应用于双向联合图像文本建模，以生成更准确的图像及关联文本，同时通过对抗训练和可变后验进行端到端训练来捕捉和关联层次语义和视觉概念，从而在各类图片和文本生成任务中取得了最先进的性能。
bidirectional image-text modelinggenerative adversarial networkmulti-modality learninghierarchical semantic and visual conceptsphoto-realistic image generation
发现论文，激发创造
  • 变分同编码器：从少量样本中学习高容量生成模型的元学习

    使用 Variational Homoencoder（VHE）技术，在 Omniglot 数据集中建立层次化的 PixelCNN，其效果优于所有现有模型，同时在一次性生成和分类任务上实现强大性能。

    Jul, 2018

  • 文本生成的混合卷积变分自编码器

    本文探讨了建筑选择对于学习文本生成变分自编码器（VAE）的影响。与之前引入的使用 RNN 的 VAE 不同，本文提出了一种新颖的混合架构，将完全前馈卷积和反卷积组件与递归语言模型混合在一起。我们的架构具有几个有吸引力的属性，如更快的运行时间和收敛速度，能够更好地处理长序列，并且更重要的是，它有助于避免训练 VAE 模型时出现的一些主要困难。

    Feb, 2017

  • 使用变分同配嵌入改进文本网络学习

    本文提出了一种新颖的变分网络嵌入形式，称为变分同质嵌入，它通过模拟语义信息和结构信息来学习网络嵌入，鼓励相关顶点的相似嵌入向量，具有更好的下游任务泛化性能，对不完整观测的鲁棒性以及推广到未知顶点的能力，并通过实验结果证明了其在多个任务方面相对于其他竞争最新方法的卓越表现。

    Sep, 2019

  • 面向文本生成的主题引导变分自编码器

    该研究提出了一种基于主题引导的变分自编码器（TGVAE）模型，该模型使用高斯混合模型作为先验，建立了神经主题模块对语料中的主题进行指导性生成。实验结果表明，该模型在无条件和有条件文本生成方面优于传统的变分自编码器方法。

    Mar, 2019

  • 自动编码生成对抗网络的变分方法

    本篇论文提供了一个新的原则，即利用生成模型的层次结构将自编码器与生成对抗网络相结合，以防止学习到的生成模型中的模式崩溃，并使用区分器学习合成可能性和隐式后验分布。

    Jun, 2017

  • 一种变分对话建模的分层潜变结构

    通过使用层次潜在变量的结构和使用发言丢失正则化，我们提出一个名为 VHCR 的新模型，该模型成功地利用了潜在变量，并在会话生成方面优于现有技术。

    Apr, 2018

  • 基于文本的视频生成

    通过训练条件生成模型从文本中提取静态和动态信息，结合 VAE 和 GAN 的混合框架，采用画线和过滤器来生成可信度高和多样性强的文本视频。

    Oct, 2017

  • VEEGAN: 使用隐式变分学习减少 GAN 中的模式崩塌

    VEEGAN 是一种新颖的自动编码器，它通过反转生成器的作用从数据到噪声的映射来解决 GAN 中的 mode collapse 问题，并针对噪声提供了新的自动编码器损失函数。它在合成和真实图像数据集中，相较于其他 GAN 变体，产生更逼真的样本并且抵制模式坍缩。

    May, 2017

  • 层次化 Patch VAE-GAN：从单一样本生成多样化视频

    本文提出了一种使用基于 patch 的变分自编码器（VAE）生成多样化视频的新方法，并将其与更细节的 patch-GAN 相结合，以在保证多样性的同时生成高质量视频。实验结果表明，该方法不仅可以生成多样化的图像，还可以处理更具挑战性的视频领域。

    Jun, 2020

  • 生成分层特征用于合成图像

    通过学习样本数据的潜在分布，生成对抗网络（GAN）最近推动了图像合成的进展。本文通过使用预训练的 StyleGAN 生成器作为已学习的损失函数，并利用其分层表示来训练新的层次编码器，展示了学习图像合成如何产生通用于广泛应用的出色分层视觉特征。通过广泛的定性和定量实验结果表明，GH-Feat 具有很强的可转移性，可以应用于图像编辑、图像谐调、图像分类、脸部验证、地标检测和布局预测等生成和判别任务。

    Jul, 2020