ICLRMar, 2016

Helmholtz 机器的共同随机逼近学习

PDF
TL;DR本文描述了一种新型基于随机逼近理论 (Robbins-Monro type) 的算法，直接优化边缘对数似然并同时最小化 KL 散度，以便更好地学习和应用针对离散隐藏变量的深度生成模型，称为联合随机逼近算法 (JSA)，并构建了一个有效的 MCMC 操作符用于优化 JSA 的表现。同时，在 MNIST 数据集上的实验表明，JSA 相对于类似 RWS 等算法，可以显著提高学习不同复杂度模型的性能。
发现论文，激发创造
  • 随机梯度 MCMC 的元学习

    本文提出了第一个元学习算法，可以自动设计 SG-MCMC 采样器的连续动力学，学习的采样器泛化了 Hamiltonian 动力学，并且在贝叶斯全连接神经网络和贝叶斯循环神经网络任务上进行了验证，表明学习采样器优于通用手动设计的 SG-MCMC 算法，并且可以推广到不同的数据集和更大的架构。

    Jun, 2018

  • 深度生成模型中的随机反向传播和近似推理

    本文介绍了一种利用深度神经网络和近似贝叶斯推理相结合的广义深度生成模型，并引入了用于表示近似后验分布的识别模型，并利用随机反向传播来开发算法，实现生成和识别模型参数的联合优化，最终将模型应用于实际数据集，生成更真实的分布、准确地恢复缺失数据，并在高维数据的可视化上发挥了重要作用。

    Jan, 2014

  • 使用双重随机 MCMC 学习深度生成模型

    本文介绍了倍增随机梯度 MCMC 这一简单通用的方法，用于在折叠的连续参数空间中对深度生成模型进行（近似）贝叶斯推理。我们的方法不仅适用于密度估计和数据生成的任务，还可以用于缺失数据的填充，且在性能方面优于许多现有的竞争对手。

    Jun, 2015

  • 使用随机梯度哈密顿蒙特卡罗推断深高斯过程

    本研究使用随机梯度哈密尔顿蒙特卡洛方法对深层高斯过程模型的非高斯后验分布抽样，提供了一种新的推断方法，成为 Deep Gaussian Processes 领域新的最优模型。

    Jun, 2018

  • 隐马尔可夫模型的随机梯度马尔可夫链蒙特卡罗方法

    开发基于随机梯度 MCMC 算法的隐马尔可夫模型参数学习方法，通过利用内在的记忆衰减特性以应对离散状态与小批量数据带来的挑战，进而在合成实验和电离子通道记录数据上展示该算法的有效性和性能优势。

    Jun, 2017

  • 使用时间本地规则学习循环模型

    生成模型对顺序数据的拟合通常涉及两个循环计算，一个向前，一个向后。本文探讨了一种不同的解决方法：要求生成模型学习当前状态和前一个状态之间的联合分布，而不仅仅是转移概率。在玩具数据集上展示了不同架构使用这一原则能够学习通常需要向后传递的数据方面的内容。

    Oct, 2023

  • 改进交叉熵估计器的无似然推断

    通过利用神经网络作为概率无关推断的代理模型，使用隐式生成模型或模拟器提供的联合概率比和联合得分来增强这些代理模型的训练数据，提出了一种新的交叉熵估计器，与之前利用增强训练数据的损失函数相比，该估计器提供了更好的样本效率。

    Aug, 2018

  • 通过蒙特卡洛边缘化学习分布

    提出一种从样本中学习难以处理的分布的新方法，通过最小化 KL 散度使用参数分布模型（如高斯混合模型）来近似不可解的分布。通过引入 Monte-Carlo 边缘化和 Kernel 密度估计来解决计算复杂性和非可导优化过程的挑战，该方法能够学习复杂分布并生成更好的图片。

    Aug, 2023

  • 希尔伯特空间中的学习与推断：量子图模型

    研究提出了 HSE-HQMM 模型，通过量子图模型和 Hilbert 空间嵌入技术对物理过程进行建模，并在多个数据集上进行了比较试验。

    Oct, 2018

  • 随机梯度单项式 Gamma 采样器

    本文提出了利用 Hamiltonian Monte Carlo 方法的广义运动函数来改进随机梯度马尔可夫蒙特卡罗采样的效率，并讨论了克服这种泛化所引入的实际问题的技术。实验证明，该方法在探索复杂的多峰后验分布方面表现优秀。

    Jun, 2017