本论文利用循环随机梯度 MCMC 算法对神经网络权重后验分布进行高效探索,证明了算法的确切收敛性,拓展了算法在复杂多模态分布下的应用性能,尤其是用于深度神经网络的贝叶斯推断。
Feb, 2019
本论文提出了最大间隔深度生成模型(mmDGMs),它利用最大间隔学习原理来提高深度生成模型的辨别力,同时保留了生成能力。实验结果表明,最大间隔学习可以显著提高深度生成模型的预测性能,同时保留生成能力。同时,通过使用深度卷积神经网络作为识别和生成模型,mmDGM 在 MNIST 和 SVHN 数据集上的表现与最先进的完全辨别网络相当竞争力。
Apr, 2015
开发基于随机梯度 MCMC 算法的隐马尔可夫模型参数学习方法,通过利用内在的记忆衰减特性以应对离散状态与小批量数据带来的挑战,进而在合成实验和电离子通道记录数据上展示该算法的有效性和性能优势。
Jun, 2017
本论文提出了一种利用生成对抗网络(GAN)和基于深度神经网络的生成模型来代替 MCMC 模型的方法,通过训练这种模型生成的采样分布近似匹配待训练的能量函数。
Jun, 2016
针对深度离散潜变量模型中的梯度计算和步长适应问题,本论文提出了利用数据增广和边缘化技术,得到分块对角 Fisher 信息矩阵及其逆的深度潜在狄利克雷分配表示,并利用该矩阵和随机梯度马尔科夫链蒙特卡罗方法,提出了主题 - 层适应性的随机梯度里曼蒙特卡罗方法,可全局学习所有层和主题的全局参数,实现了在大数据集上的最新成果。
本文提出了第一个元学习算法,可以自动设计 SG-MCMC 采样器的连续动力学,学习的采样器泛化了 Hamiltonian 动力学,并且在贝叶斯全连接神经网络和贝叶斯循环神经网络任务上进行了验证,表明学习采样器优于通用手动设计的 SG-MCMC 算法,并且可以推广到不同的数据集和更大的架构。
Jun, 2018
本研究使用随机梯度哈密尔顿蒙特卡洛方法对深层高斯过程模型的非高斯后验分布抽样,提供了一种新的推断方法,成为 Deep Gaussian Processes 领域新的最优模型。
本文介绍了一种新的深度生成模型 (DGMs) - max-margin deep generative models (mmDGMs) 和 class-conditional variant (mmDCGMs),它们同时保留了生成性和判别性,通过最大间隔学习来提高模型的预测性能,并且在半监督学习中利用了最大间隔分类器来代替全局后验推断从而提高学习效率。在各种数据集上的实验结果表明,这种方法可以明显地提高模型的预测性能。
Nov, 2016
本文介绍了一种利用深度神经网络和近似贝叶斯推理相结合的广义深度生成模型,并引入了用于表示近似后验分布的识别模型,并利用随机反向传播来开发算法,实现生成和识别模型参数的联合优化,最终将模型应用于实际数据集,生成更真实的分布、准确地恢复缺失数据,并在高维数据的可视化上发挥了重要作用。
Jan, 2014
本文探讨了应用于深度神经网络中的贝叶斯参数估计问题,提出了一种压缩 Monte Carlo 近似方法的新算法,与贝叶斯神经网络中的其他两种方法作了对比,证明了该算法不仅表现更优,而且更简单易于实现且测试所需运算资源更少。
Jun, 2015