Jan, 2013

近似概率推断的大偏差方法

PDF
TL;DR研究二层二值随机变量信念网络，其中条件概率 Pr [childlparents] 取决于父节点的加权和，证明使用大偏差理论可以计算许多感兴趣的概率的上下界，特别是证明作为网络大小函数的边际概率 Pr [children] 的精确度的收敛速率，证明适用于泛化传递函数参数化条件概率表的网络。
belief networksconditional probabilitieslarge deviation theoryinferencenetwork size
发现论文，激发创造
  • 信念网络上一般概率推断的模拟方法

    本文研究一种基于 Monte Carlo 采样的 “前向” 算法家族，用于解决在信念网络上计算概率推理的问题，并提出了几种改进策略以降低后验方差。

    Mar, 2013

  • 在难以处理的网络中计算似然的上下界

    本研究介绍了用于计算 sigmoid 网络和 noisy-OR 网络边际概率的确定性技巧，这些技巧在网络规模（或点团大小）不足以进行精确计算时非常有用，并通过数值实验说明了这些边界的紧密性。

    Feb, 2013

  • 信念网络中的神经变分推断和学习

    我们提出了一种快速的非迭代近似推理方法，通过前馈网络实现从变分后验进行有效精确抽样，该方法通过应用几种直观的模型独立方差减少技术，优于 MNIST 和 Reuters RCV1 文件数据集上的唤醒 - 睡眠算法，并取得了最新成果。

    Jan, 2014

  • 关于贝叶斯神经网络中近似推断表现的探讨

    通过研究两种常见的变分方法，该文证明了在低不确定性区域之间不存在过多信息增加的情况，并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布，但发现了类似于单隐层 ReLU 情况的病理现象。

    Sep, 2019

  • 野外变分推断的两种方法

    这篇论文介绍了一种新型的变分推断方法 —— 野生变分推断方法，其可以不需要可推导概率密度函数，而将随机梯度 Langevin 动力学 (SGLD) 作为推断网络，从而实现对 SGLD 步长的自动调整，并取得显著的改进效果。

    Nov, 2016

  • 连续变量信念网络中概率推理的拉普拉斯方法逼近

    本文介绍了拉普拉斯方法，一种用于逼近积分的渐近方法，作为连续变量信念网络中知识获取和概率推断的技术工具箱的潜在候选项。该方法在许多有趣的情况下以合理的精度逼近后验矩和边际后验分布，此方法还似乎有助于计算用于模型选择、模型不确定性和 pdf 混合的贝叶斯因子的近似值。拉普拉斯方法的局限性、正则性条件和计算难点与最大似然和后验模式分析方法相当。

    Feb, 2013

  • 辅助形式下基于快速梯度的连续潜变量模型推断

    通过表达隐变量的辅助形式，增加贝叶斯网络中多层连续隐变量梯度推断和学习的效率，提高混合蒙特卡罗和梯度优化的速度。

    Jun, 2013

  • 用变分推断训练的贝叶斯神经网络的中心极限定理

    本文通过严密推导，针对贝叶斯两层神经网络在无穷宽度限制下采用变分推断方法进行回归任务训练，证明了它们的中心极限定理（CLT）。该研究比较了不同网络训练方案的波动行为，发现最小化变分推断方法在计算复杂度上具有更高效的优势。

    Jun, 2024

  • 具有离散单元的窄信念网络的通用逼近深度和错误

    本文研究了底层深度置信网络的最小层数，可以逼近任意概率分布，包括离散限制玻尔兹曼机和朴素贝叶斯模型，并考虑了有限状态空间和逼近误差容限为任意值等条件。

    Mar, 2013

  • 深度神经网络中的定量中心极限定理

    研究具有随机高斯权重和偏差的全连接神经网络的分布，其中隐藏层宽度与大常数 $n$ 成比例，并获得在有限但大的 $n$ 和任意固定网络深度下有效的正常近似的定量界限。

    Jul, 2023