MMJul, 2019

朝向验证的概率规划随机变分推断

PDF
TL;DR本文分析了得分估计器作为最基础和多功能的变分推理算法，并利用语义学和程序分析中的工具来阐述这个算法在程序中的作用，揭示出算法所做假设的内在局限性，提出了证明这些假设的规则，并用非平凡的连续数学事实来代替假设中的积分要求，最终发展了一种运用静态程序分析来满足假设条件的方法，并应用于 Pyro 中的八个代表性模型中，表明这种方法是可行的。
probabilistic programmingdeep learningstochastic variational inference algorithmsscore estimatorstatic program analysis
发现论文，激发创造
  • 概率编程中的自动变分推断

    本研究提出了一种新算法，基于随机梯度的变分程序来进行概率编程中的近似推理，特别适用于高度结构化的分布。我们展示了如何自动推导平均场概率程序并优化它们，并证明我们的方法比其他算法提高了推理效率。

    Jan, 2013

  • 可编程变分推理的概率编程

    我们提出了一种基于组合程序转换的方法，用于支持概率编程语言中的变分推断，该方法能够灵活地处理多个关键问题，包括自动微分、密度累积、跟踪和无偏梯度估计策略。此外，相比于现有的支持变分推断的概率编程语言，我们的设计在用户定义的目标、梯度估计策略和模型、变分族类别方面具有更高的表达能力。

    Jun, 2024

  • Pyro: 深度通用概率编程

    Pyro 是一个基于 Python 平台，用于开发 AI 研究中的先进概率模型的概率编程语言。它使用基于 PyTorch 的随机变分推断算法和概率分布来应对大型数据集和高维模型，并利用 Poutine 的库来构建模型特定的算法行为。

    Oct, 2018

  • 贝叶斯合成概率编程自动数据建模

    使用贝叶斯综合技术，通过概率领域专用数据建模语言自动生成概率计算程序进行数据分析、解释和预测，并应用于时间序列数据和多元表格数据的分析，结果表明该技术可以准确推断多个真实世界数据的定性结构，优于标准的数据分析方法。

    Jul, 2019

  • 从时间序列数据中自动生成概率编程

    通过非参数高斯过程回归找到时间序列数据的描述性协方差结构从而构建具有表述性的概率编程描述， 不需要提供模型结构。

    Jul, 2016

  • 随机变分推断

    本研究开发了基于随机变分推断的可伸缩算法，用于逼近后验概率分布，并且针对一类大规模的概率模型进行了技术开发；对两个概率主题模型进行了演示并应用于大量文献数据的分析，其中包括自然杂志、《纽约时报》和维基百科，结果表明随机变分推断可轻松处理大型数据集并优于传统变分推断，并且表明贝叶斯非参数主题模型优于参数主题模型；因此基于随机变分推断的算法可以将复杂的贝叶斯模型应用于大规模的数据集。

    Jun, 2012

  • 概率编程简介

    本书介绍了概率编程的基础和技术，主要包括概率编程语言的设计和构建、基础推理算法和高阶概率编程语言、概率编程与可微分编程的交叉应用，尤其是深度概率编程系统的设计与语言特性对其的影响。

    Sep, 2018

  • 深度概率模型的验证

    该文章提出了一种验证深度概率模型的新框架，在模型输出过程中采样潜在变量并考虑其所需的条件输入，以高概率满足线性约束，并能够有效地验证功能空间中感兴趣的属性（单调性、凸性）

    Dec, 2018

  • 重构具有随机支持的概率编程的变分推理

    引入支持分解变分推断（SDVI）方法，对具有随机支持的概率编程进行变分推断，通过将程序分解为包含静态支持的子程序，并自动构建相应的子导引，从而改善了推断性能。

    Nov, 2023

  • 针对进行预测的程序的推论

    通过概率编程对程序归纳的扩展，实现自动概率编程综合，可以推广应用于任何合理的输入和输出，特别是文本、图像和视频数据。

    Oct, 2018