- Epanechnikov 变分自编码器
本文通过将核密度估计应用于变分自动编码器 (VAEs),近似后验概率分布,推导出极大似然下界 (ELBO) 中 KL 散度的上界,展示了 Epanechnikov 核在最小化 KL 散度上界方面的优势。在 MNIST、Fashion-MNI - 面向模型不可知的后验近似以实现快速准确的变分自编码器
学习变分自动编码器(VAEs)的关键任务是训练生成模型和推理模型,本文提出了一种基于 MAPA 的推理方法,可以高效地估计真实模型的后验分布。初步结果表明,该方法在低维合成数据上能够更好地进行密度估计,并提供了将该方法扩展到高维数据的路线图 - 基于模拟的堆叠
使用可证明的渐近保证,我们提出了一种通用的堆叠方法,能够结合多个后验近似,融合密度、模拟抽样、置信区间和矩,同时解决整体精度、校准、覆盖率和偏差的问题。我们通过几个基准模拟和具有挑战性的宇宙学推断任务来说明我们的方法。
- 确定性目标的黑盒变分推断:更快、更准确,更加黑箱
本研究介绍了一种称为 “确定性 ADVI” 的方法来解决 MFVB 的问题,并使用蒙特卡罗近似方法去优化其目标,相较于标准的 MFVB,确定性 ADVI 能更准确地预测后验线性响应协方差,并在现实问题中表现更加可靠并具有更快的速度和更高的准 - ICML变分 Laplace 自编码器
该研究提出了一种名为 “变分 Laplace 自动编码器” 的深度生成模型的一般框架,在近似后验分布时采用拉普拉斯近似方法,提高后验表现,同时减少摊销误差。在 MNIST,Omniglot,Fashion-MNIST,SVHN 和 CIFA - ICML通过独立二元逼近实现分类模型的易于变分推断
我们定义了一种新的分类数据 GLMs 类称为二进制转分类(CB)模型,该模型每个类别的似然性都受到二进制似然性乘积的约束,这种近似使得推理变得简单和快速。
- 基于稀疏哈密顿流的贝叶斯推断
本文介绍了一种新的方法 —— 稀疏哈密顿流,它可以提高贝叶斯核心集合的构建效率,通过代替数据集来减少计算成本,同时在构建后不需要进行次要的推断,并提供与数据边缘证据的界限。理论结果显示,该方法在典型模型中使数据集压缩呈指数级,而准周期动量可 - 贝叶斯神经网络的结构化随机失活变分推断
提出一种新颖的变分结构近似方法 (VSD),它通过引入正交变换来学习可信复杂度的变分高斯噪声上的结构表示,并在近似后验中引入统计依赖性来解决 Variational Dropout 方法的问题,从而提高了先前 Variational dro - 哈密顿变分自编码器
利用 Hamiltonian Jacobian Estimation 实现了一个新的 Hamiltonian Variational Auto-Encoder(HVAE)模型,可以用于高效地进行变分自编码器模型训练,并构建目标受控的归一化流 - 因果 DAG 模型中基于最小 I-MAP 的可扩展结构发现 MCMC 算法
本文提出一种基于条件独立性检验的后验逼近方法,用于学习贝叶斯网络。相比于先前的基于顺序 MCMC 的方法,该方法能够实现更佳的精度、可伸缩性和混合采样效果,同时允许使用更多自然的结构先验并消除了对最大入度的时间依赖性。
- ICLR深度贝叶斯赌博机对决:贝叶斯深度网络在汤普森抽样中的实证比较
本文主要研究了在复杂的情况下如何在深度强化学习中使用 Thompson 抽样框架的近似贝叶斯神经网络方法,发现在时序决策问题中许多在监督学习中表现良好的方法表现不佳。
- 深度神经网络的贝叶斯增量学习
本文研究了工业机器学习中的深度神经网络在不断学习过程中优化性能的方法,使用贝叶斯方法更新后验概率,与传统方法相比实验表明可以取得更好的效果。
- 温和后验分布及其变分逼近的集中性
本文提出了一种通用方法来证明分数后验变分近似的集中性,应用于矩阵补全和高斯 VB 两个例子,弥补了变分贝叶斯方法在理论方面的不足。
- 操作符变分推理
本文介绍以变分推断为基础的优化算法,并使用函数方法设计变分目标,包括 Langevin-Stein 算子变分目标。该算法不仅能够处理大数据问题还可以快速逼近后验分布。
- 含哈密顿蒙特卡罗的变分推断
本研究提出了一种使用 Hamiltonian Monte Carlo 算法中的 MCMC 步骤来改善后验分布逼近的方法,并通过实验结果证明了这种方法的理论优势和性能改进。
- 线性响应方法用于从均值场变分贝叶斯得到准确协方差估计
Linear response variational Bayes is proposed as an improved method for posterior approximation, allowing for accurate u - 变分共识蒙特卡罗
本文提出了一种改进的变分共识蒙特卡洛算法,该算法优化聚合函数以从分布中获得更好的近似目标,并展示了在三个推理任务中的优越性,实验结果表明,在一些情况下,改进后的算法较串行 MCMC 更快而且相对误差降低幅度高达 92%。
- 马尔可夫链蒙特卡罗和变分推断:架起鸿沟
提出了一种结合了变分推断和蒙特卡罗方法的新型推断算法,它通过在变分近似中引入一步或多步 MCMC 来生成具有随机辅助变量的后验分布近似,并通过在快速后验分布逼近和精度之间进行权衡提供了更好的灵活性和准确性。
- 结构化随机变分推断
文章展示了如何通过松弛均场独立近似来减少对局部最优解和超参数的敏感性,使得全局参数和局部隐藏变量之间的任意依赖关系得以被考虑,从而提高参数估计的精度。
- 通过随机线性回归实现和自动化固定形式变分后验近似
本文提出一种算法来逼近非标准贝叶斯后验分布,该算法基于极小化与更方便逼近分布的 Kullback-Leibler 散度,我们详细阐述了如何在实践中高效实现这一算法,我们还建议默认选择后验逼近格式,迭代次数,步长和其他用户选择,通过使用这些默