Oct, 2023

高维后验隐式变分推理

PDF
TL;DR我们提出了使用神经采样器来近似复杂多模态和相关后验分布的隐式分布的方法，并介绍了一种新的采样器架构，允许以百万个潜变量为基础的隐式分布，通过可微的数值逼近解决计算问题。我们的实证分析表明，我们的方法能够恢复大型贝叶斯神经网络中层间的相关性，这对网络的性能非常关键，但是一直以来都非常难实现。通过下游任务的实验，我们证明了我们的表达性后验优于最先进的不确定性量化方法，验证了我们的训练算法的有效性和学习出的隐式逼近的质量。
发现论文，激发创造
  • 核隐式变分推断

    本文介绍一种名为核式隐式变分推断的新方法，可以成功地将隐式变分推断应用于贝叶斯神经网络，并在回归和分类任务上展现了有前途的结果。

    May, 2017

  • 基于熵的训练方法用于可扩展的神经隐式采样器

    本文提出了一种高效可扩展的神经隐式采样器，它通过利用神经转换将易于采样的潜在向量直接映射到目标样本，而无需迭代过程，从而实现低计算成本生成大批量样本，此外，本文还引入了 KL 训练方法和 Fisher 训练方法来有效地优化了所提出神经隐式采样器以捕获所需的目标分布。

    Jun, 2023

  • 关于深度贝叶斯神经网络后验的局部自适应可扩展扩散采样方法的收敛性

    深度神经网络的鲁棒性不确定性量化是许多深度学习应用的重要需求，贝叶斯神经网络是建模深度神经网络不确定性的一种有前景的方法，但从神经网络的后验分布中生成样本仍然是一个重大挑战。在本文中，我们展示了这些方法在采样分布时可能存在显著偏差，即使在步长趋近于零且批量大小足够大的情况下。

    Mar, 2024

  • 自动编码变分贝叶斯

    本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法，可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法，特别是在大型数据集下具有较好的表现，且已经在实验上得到了验证。

    Dec, 2013

  • 信念网络中的神经变分推断和学习

    我们提出了一种快速的非迭代近似推理方法，通过前馈网络实现从变分后验进行有效精确抽样，该方法通过应用几种直观的模型独立方差减少技术，优于 MNIST 和 Reuters RCV1 文件数据集上的唤醒 - 睡眠算法，并取得了最新成果。

    Jan, 2014

  • 神经网络中的隐含权重不确定性

    该论文介绍了 Bayes by Hypernet，一种新的变分逼近方法，通过将超网络视为隐式分布来解决现代神经网络在未见过的、嘈杂的或标记错误的数据上过于自信，并且不能产生有意义的不确定性度量的短板，本文在 MNIST 和 CIFAR5 任务中表现优异且最具鲁棒性，同时满足复杂度、可扩展性和准确度的要求。

    Nov, 2017

  • 关于贝叶斯神经网络中近似推断表现的探讨

    通过研究两种常见的变分方法，该文证明了在低不确定性区域之间不存在过多信息增加的情况，并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布，但发现了类似于单隐层 ReLU 情况的病理现象。

    Sep, 2019

  • 蒙特卡罗目标的变分推断

    通过使用多样本重要性采样和无偏梯度估计器优化变分下界，从而提高潜变量模型的训练效果。

    Feb, 2016

  • 非对称变分自编码器

    提出一种利用辅助变量来拓展变分分布家族的框架，通过神经网络来构建复杂的概率混合分布模型，以增强变分推断模型的灵活性和效果，并在密度估计任务上进行了实证评估。

    Nov, 2017

  • 科学模拟器的模型和参数的同时鉴定

    本研究提出了一种基于后验模拟的隐式模型先验和神经网络的元均账后验推断方法，用于系统地选择模型组件以及实现参数推断。研究表明此方法对于发现数据一致的模型配置，估计参数以及识别非可识别模型组件等方面能够提供有力的工具，有效地促进了数据驱动模型的复杂性建造与推断。

    May, 2023