Jun, 2024

可编程变分推理的概率编程

PDF
TL;DR我们提出了一种基于组合程序转换的方法，用于支持概率编程语言中的变分推断，该方法能够灵活地处理多个关键问题，包括自动微分、密度累积、跟踪和无偏梯度估计策略。此外，相比于现有的支持变分推断的概率编程语言，我们的设计在用户定义的目标、梯度估计策略和模型、变分族类别方面具有更高的表达能力。
monte carlo methodsvariational inferenceprobabilistic programming languagescompositional program transformationgradient estimation
发现论文，激发创造
  • 概率编程中的自动变分推断

    本研究提出了一种新算法，基于随机梯度的变分程序来进行概率编程中的近似推理，特别适用于高度结构化的分布。我们展示了如何自动推导平均场概率程序并优化它们，并证明我们的方法比其他算法提高了推理效率。

    Jan, 2013

  • 朝向验证的概率规划随机变分推断

    本文分析了得分估计器作为最基础和多功能的变分推理算法，并利用语义学和程序分析中的工具来阐述这个算法在程序中的作用，揭示出算法所做假设的内在局限性，提出了证明这些假设的规则，并用非平凡的连续数学事实来代替假设中的积分要求，最终发展了一种运用静态程序分析来满足假设条件的方法，并应用于 Pyro 中的八个代表性模型中，表明这种方法是可行的。

    Jul, 2019

  • 概率编程的扩散模型

    我们提出了一种称为 Diffusion Model Variational Inference (DMVI) 的新方法，用于在概率编程语言 (PPLs) 中进行近似推断。DMVI 利用扩散模型作为真实后验分布的变分逼近，通过推导贝叶斯建模中使用的边际似然目标的新的上界。DMVI 实现简单，允许在 PPLs 中进行无麻烦的推断，并且不像使用标准化流进行变分推断那样有任何限制条件。我们对一组常见的贝叶斯模型进行了 DMVI 的评估，并展示其后验推断通常比 PPLs 中的现代方法更准确，同时计算成本相似且需要较少的手动调整。

    Nov, 2023

  • 重构具有随机支持的概率编程的变分推理

    引入支持分解变分推断（SDVI）方法，对具有随机支持的概率编程进行变分推断，通过将程序分解为包含静态支持的子程序，并自动构建相应的子导引，从而改善了推断性能。

    Nov, 2023

  • 概率编程简介

    本书介绍了概率编程的基础和技术，主要包括概率编程语言的设计和构建、基础推理算法和高阶概率编程语言、概率编程与可微分编程的交叉应用，尤其是深度概率编程系统的设计与语言特性对其的影响。

    Sep, 2018

  • 变分推断的进展

    本文综述了变分推断中的最新趋势，介绍了标准的均值场变分推断，然后回顾了最近的进展，包括可扩展的 VI，通用的 VI，准确的 VI 以及摊余的 VI，并提供有关未来研究方向的总结。

    Nov, 2017

  • 基于深度摊销推断的概率编程

    该论文提出了一种在概率编程语言中实现摊余推理的方法，摊余通过参数化的指南程序实现，并且可以包括神经网络组件以更好地进行采样，支持全局模型学习。

    Oct, 2016

  • 分区变分推断：涵盖联邦学习与持续学习的统一框架

    本文介绍了一种新的方法，即分区变分推断（Partitioned Variational Inference），该方法明确了变分推断的基本维度，并统一了不同的文献，重点介绍了在分布式计算、连续学习等挑战性学习场景下进行变分推断的方法，并表明这些新方法在神经网络和高斯过程模型等领域中均能取得显著的性能提升。

    Nov, 2018

  • 变分推断：统计学家综述

    本文通过机器学习中的变分推断方法近似计算难以计算的概率密度，特别地，本文对变分推断的思想和现代 VI 研究中的重要问题进行了全面的讨论。

    Jan, 2016

  • 变分推理，高斯混合模型，贝叶斯机器学习

    通过优化固定协方差和常值权重的高斯混合模型，将变分推断（Variational Inference）视为最小化平滑相对熵，研究其在非高斯情况下的理论性质，包括梯度下降和粒子系统优化。

    Jun, 2024