AAAIOct, 2020

深度生成模型中的中奖彩票

PDF
TL;DR本研究证实了 Lottery Ticket Hypothesis 可适用于 deep generative models 并提出了一种寻找 winning tickets 的有效方法，同时发现这些 winning tickets 有跨模型的传递性，因此可以帮助训练多种深度生成模型，并通过 early-bird tickets 的方式可以大幅减少训练时间和 FLOPs。
lottery ticket hypothesissparse sub-networksdeep generative modelswinning ticketsearly-bird tickets
发现论文，激发创造
  • 深度生成模型分层学习

    本文提出了一种基于乐观的概率方法进行逐层训练 DeepAutoEncoder 的过程，可以提高深度架构训练的性能，实验结果表明使用比生成模型更丰富的推理模型可以有效地提高性能。

    Dec, 2012

  • GAN 的最佳精度

    研究深度生成模型的潜在空间几何结构及优化条件，通过实验提出限制方法，提高生成对抗网络的性能。

    Jul, 2022

  • 生成模型的自适应密度估计

    该论文研究了无监督学习中生成模型的训练方法，提出了一种在对抗网络与似然训练之间进行混合训练的方法，其中使用深度可逆变换来解决概率和逆变换之间的冲突，实现了更好的生成样本和更高的似然性评估。

    Jan, 2019

  • 从生成模型学习分层特征

    本文证明已有的变分方法无法很好地训练分层潜变量模型，并且提出了一种不依赖先前知识、能够在多个自然图像数据集上学习高度可解释和分解分层特征的替代架构。

    Feb, 2017

  • 深度、分层生成模型的架构设计

    本文介绍了一种基于深度生成模型的架构，该架构在训练过程中使用多层的潜在变量，并且在所有潜在变量和输出之间包括确定性路径，以及提供了一组更丰富的连接，这些连接在推理和生成计算之间实现了更有效的信息通信。我们在重构分布中引入了轻量级自回归模型以提高自然图像的性能。实验表明，我们的方法在标准图像建模基准测试中达到了最先进的性能，并且在没有标签信息的情况下可以暴露潜在的类结构，同时可以提供自然图像中被遮挡区域的令人信服的估计。

    Dec, 2016

  • 超表示作为生成模型：采样未见的神经网络权重

    本文介绍了一种基于模型动物园的神经网络权值表示学习方法，借助该方法可以生成高性能模型，此外还探讨了模型之间特性聚合对学习效果的影响。

    Sep, 2022

  • 深层生成模型的统一化

    本文介绍了针对生成模型学习中 GAN 和 VAEs 的新方法，并阐述了 GAN 和 VAEs 的相似性和差异性，探讨了它们的后验推理和 KL 散度的最小化问题，并将 VAEs 的 importance weighting 方法应用到 GAN 的学习中，同时采用对抗性机制加强 VAEs 模型，实验证明了这些方法的普适性和有效性。

    Jun, 2017

  • 深度神经网络为什么是可逆的：一个简单的理论，以及对训练的影响

    本文简单证明根据生成模型产生的反向网络是正确的推理方法。在一个简单的生成模型中，证明前向神经网络是正确的推理方法，它通过实验证明了像 AlexNet 这样的现实的深度神经网络的边缘权重的行为类似于随机数。它利用生成模型来产生带有标签的合成数据，并将其包含在训练集中，为深度学习提供改进和标准训练方法。

    Nov, 2015

  • HyperGAN：一种多样化、高性能神经网络的生成模型

    本文介绍了一种名叫 HyperGAN 的生成模型，用于学习神经网络参数的分布，并使用它生成包含有效参数的深度神经网络。HyperGAN 可以用于大规模和多样化的生成，可以用于标记 MNIST 和 CIFAR-10 数据集，能提供比标准集合更好的不确定性评估。

    Jan, 2019

  • 关于学习某些深度表示的可证界

    本文介绍了一种具有可证明保证的算法，学习了一个由 Hinton 等人推广的生成模型视图中的深度网络类。该算法使用分层学习的技术，通过观察特征的相关性和使用全局图恢复过程推断出底层网络的边缘结构，并揭示了随机边缘权重神经网络的有趣结构。

    Oct, 2013