Feb, 2017

近似推理的摊还 MCMC

PDF
TL;DR提出了一种新的近似推断算法，通过按摩用户选择的 MCMC 采样器的动态来近似目标分布，并使用这些样本更新近似网络，从而提高其质量，进而允许高度复杂或隐含定义的近似族，包括通过深度神经网络扭曲随机性源而产生的近似。实验以使用深度生成模型的图像建模为测试。通过摊销 MCMC 训练的深度模型被证明可以生成逼真的图像样本，以及为具有缺失像素区域的图像产生多样的填充结果。
approximate inferencemcmc samplerdeep generative modelsneural networkimage modelling
发现论文，激发创造
  • 无似然马尔可夫蒙特卡洛与分摊的近似比率估计器

    该研究提出了一种解决在科学领域中使用高级计算机模拟时出现的后验推断问题的新方法，这种方法使用学习的灵活的摊销估计量来近似似然 - 证据比率，并可以嵌入 MCMC 采样器中以从难以处理的后验中获得样本。

    Mar, 2019

  • 摊销蒙特卡罗积分

    本文提出了 AMCI 方法直接将蒙特卡罗积分的摊销集成，与基于摊销的推理类似，但产生了三个不同的摊销方案，每个方案都针对整体期望计算的不同部分。我们证明，AMCI 可以在运行时从每个摊销提案中仅使用一个样本来理论上实现任何积分目标函数的任意小误差。我们还证明，它在许多示例问题上可以从理论上最优的自标准化重要性采样器得到实证上的优越表现。此外，AMCI 不仅允许摊销数据集，还允许摊销目标函数。

    Jul, 2019

  • 神经方法实现参数摊销推理

    基于模拟的方法对于统计推断发展迅速，过去 50 年随着技术进步，如今它又迎来一次革命，利用神经网络、优化库和图形处理器进行学习数据和推断目标之间复杂映射，从而快速实现推断。本文回顾了最近在点估计、近似贝叶斯推断、自动构建摘要统计以及似然函数近似等方面取得的进展。综述还包括可用的软件，并通过一个简单实例展示了可用于快速推断的工具及其比起最先进的马尔可夫链蒙特卡洛方法所带来的好处。文章最后总结了相关主题，展望了未来的研究方向。

    Apr, 2024

  • 小规模概率元学习中的神经网络分摊推理

    使用全局诱导点变分逼近来构造一系列条件分布，从而准确地对真实后验分布进行近似，其中诱导输入可以被实际数据替代，使变分分布由每个数据点的近似似然组成，从而实现了基于完整数据点的均摊推断。

    Oct, 2023

  • 大规模图像分类的贝叶斯推断

    ATMC 是一种自适应噪声 MCMC 算法，可用于从神经网络的后验中估计和采样，它能够在大规模深度学习任务中得到更好的分类精度和测试对数似然，并提供更好的不确定性度量。

    Aug, 2019

  • 生成模型中用于摊销推理的通用边际化器

    本文研究了在因果生成模型中进行推断的问题，通过从图形模型中提取样本，结合适当的屏蔽函数，可以训练单个神经网络来近似所有相应的条件边缘分布，从而摊销推断成本，并通过图的链式分解来从近似联合后验中生成样本。

    Nov, 2017

  • 学习绘制样本：应用于生成式对抗学习的摊销 MLE

    本论文提出了一种利用随机神经网络训练概率推理目标分布的简单算法，该方法基于 Stein 变分梯度迭代地适应神经网络参数，并将输出沿着与目标分布 KL 散度最大程度下降的 Stein 变分梯度变化，可适用于任何由未归一化密度函数指定的目标分布，并且可以训练任何针对我们想要适应的参数可微不可微黑盒结构。作为我们方法的应用，我们提出了一种用于训练深度能量模型的分摊极大似然估计算法，其中自适应地训练神经采样器来近似似然函数。我们的方法模仿深度能量模型和神经采样器之间的对抗游戏，并获得与最先进结果竞争的逼真图像。

    Nov, 2016

  • 学习模型重新参数化：通过拟合 MCMC 分布实现隐式变分推断

    介绍了一种新的算法，该算法通过再参数化、马尔可夫链蒙特卡罗和变分方法相结合，构建了一种非常灵活的隐式变分分布，避免了计算 Log 密度比率，因此易于适用于任意连续且可微模型，并且演示了拟合香蕉形状分布和训练变分自动编码器的应用。

    Aug, 2017

  • 大型语言模型中的难以计算的推断摊销

    通过使用归约化贝叶斯推理方法从难以通过条件概率分布采样的后验分布中提取样本，我们展示了这种分布匹配模型在 LLM 微调中作为最大似然训练和奖励最大化策略优化的有效替代方法，进而实现了对多步骤推理和工具使用任务的数据高效适应。

    Oct, 2023

  • 使用退火重要性采样学习深度生成模型

    本文提出了使用退火重要性采样 (annealed importance sampling) 来学习深度生成模型的方法，该方法是变分推断 (variational inference) 和马尔可夫链蒙特卡罗 (Markov chain Monte Carlo) 两种主要的近似方法的结合，通过实验表明该方法比重要性加权自编码器 (importance weighted auto-encoders) 更好地建模了概率密度，并且通过权衡计算和模型精度的关系提高模型准确性的同时不增加内存成本。

    Jun, 2019