ICMLJun, 2013

基于反向传播训练的深度生成随机网络

PDF
TL;DR该论文提出了一种新的概率模型训练原则 —— 基于学习马尔可夫链的转移算子，其稳态分布估计数据分布，并能采样出变量的子集。我们提供了一些定理以证明该方法的有效性，该方法也能适用于带有缺失变量的情况，并且不需要分层逐层预训练。
generative stochastic networksmarkov chainbackpropdeep boltzmann machineprobabilistic models
发现论文，激发创造
  • GSNs：生成随机网络

    提出了一种新的基于马尔科夫链的生成随机网络（GSN）框架作为概率模型的训练原则，并通过具有反向传播的梯度来学习该链的转移算子，该理论提供了关于依赖网络和广义伪似然的有趣解释，试验结果验证了该理论在两个图像数据集中的有效性，并且在训练时不需要层次预训练。

    Mar, 2015

  • 生成性随机网络的多模态转换

    本文首次引入多模态 GNS 过渡分布，使用 NADE 作为过渡算子的输出分布生成多样化样本。

    Dec, 2013

  • 深度生成模型中的随机反向传播和近似推理

    本文介绍了一种利用深度神经网络和近似贝叶斯推理相结合的广义深度生成模型，并引入了用于表示近似后验分布的识别模型，并利用随机反向传播来开发算法，实现生成和识别模型参数的联合优化，最终将模型应用于实际数据集，生成更真实的分布、准确地恢复缺失数据，并在高维数据的可视化上发挥了重要作用。

    Jan, 2014

  • 利用图神经网络将随机动态系统学习作为隐式正则化

    该论文提出了一种基于 Gumbel 图网络的随机模型，能够学习高维度时间序列，捕捉随机性和空间相关性，通过 Kuramoto 的模型比较了两个损失函数的 Hessian 矩阵，实验证明该模型在收敛性、稳健性和泛化性方面都具有优势。

    Jul, 2023

  • 学习随机过程的条件生成模型

    提出了一种学习多模态分布的框架 —— 条件量子生成对抗网络（C-qGAN），该神经网络结构严格在量子电路内，因此显示出比当前方法更有效的状态准备程序。将这一方法应用于定价亚式期权衍生品，为进一步研究其他路径依赖期权打下了基础。

    Apr, 2023

  • 图形生成对抗网络

    提出了一种名为 Graphical Generative Adversarial Networks（Graphical-GAN）的模型，结合了贝叶斯网络和生成性对抗网络的能力来建模结构化数据。引入了一个结构化的识别模型来推断给定观测值的潜在变量的后验分布，并将期望传播（EP）算法广义化，以同时学习生成模型和识别模型。最后，提出了两个 Graphical-GAN 的重要实例，即高斯混合 GAN（GMGAN）和状态空间 GAN（SSGAN），可分别成功学习视觉数据集的离散和时间结构。

    Apr, 2018

  • 协同塑形的变分生成随机网络

    通过展开变分自动编码器为马尔可夫链并使用启发式方法来训练生成模型，结合强化学习中某些策略搜索的正则化技术，我们在 MNIST 和 TFD 数据集上实验证明了该方法在定量和定性表现上都达到了最先进水平。

    Aug, 2017

  • 生成后验网络用于近似贝叶斯认知不确定性估计

    生成后验网络（GPN）是一种新方法，利用未标记的数据来估计高维问题中的认识不确定性。它是一种生成模型，通过对网络进行正则化以从先验中采样，直接逼近后验分布。理论上证明我们的方法确实逼近了贝叶斯后验，并且实验证明它在比较方法上改进了认识不确定性估计和可扩展性。

    Dec, 2023

  • 高斯过程网络的贝叶斯方法

    本文研究高斯过程网络 (GPNs) 的贝叶斯结构学习问题，提出基于蒙特卡罗和马尔可夫链蒙特卡罗方法的网络结构后验分布抽样算法，并在模拟实验中证明该方法在恢复网络图形结构和提供准确后验分布方面优于现有算法。

    Jun, 2023

  • 网络重构与动态学习的通用深度学习框架

    通过提出 Gumbel Graph 网络 (GGN) 框架，我们展示了一种模型自由、数据驱动的深度学习方法，可用于重建网络连接并预测时间序列的状态。该框架在连续、离散、二进制等不同类型的时间序列数据上展现了显著的对比优势。

    Dec, 2018