- 基于非线性观测的高斯测度:一致性、MAP 估计和模拟
该文章系统研究了在非线性观测条件下,对高斯随机变量进行条件化的问题,提出了一个有关条件随机变量的表示定理,还引入了一种条件度量的模式概念,最后介绍了一种 Laplace 近似用于高效模拟条件高斯随机变量来进行不确定性量化。
- 贝叶斯深度学习中的无 Hessian Laplace
在该研究中,我们提出了一种利用拉普拉斯近似的替代框架,通过使用后验的曲率和网络预测来估计方差,既避免了计算和翻转黑塞矩阵的步骤,又能够在预训练网络中高效地进行。实验证明,相比于精确和近似黑塞矩阵,该方法表现相当,并具有良好的不确定性覆盖范围 - 高斯过程的拉普拉斯近似方法作为模型选择准则
通过引入基于拉普拉斯近似的多种度量标准,我们解决了之前在高斯过程模型的模型选择中存在的性能和运行时间问题,并且在不损失计算速度的情况下,我们的度量标准在质量上与黄金标准动态嵌套采样相当,允许更快速、高质量地对高斯过程模型进行模型选择。
- 揭示拉普拉斯近似用于不确定性估计的经验病理
本研究评估了贝叶斯方法在深度学习中用于不确定性估计的方法,重点关注广泛应用的 Laplace 近似及其变体。我们的研究发现,传统的拟合 Hessian 矩阵的方法对于处理超出分布的检测效率产生了负面影响。我们提出了一种不同的观点,认为仅关注 - 钢化后座椅的细节
我们对调和后验进行了详细研究,揭示了许多关键但以前未讨论过的问题。与以往结果相反,我们首先证明,在逼真的模型和数据集以及对后验的紧密控制情况下,随机性一般情况下不会提高测试准确性。最低温度通常是最优的。人们可能认为,带有某些随机性的贝叶斯模 - 基于贝叶斯推理的物理信息神经网络
以贝叶斯公式为基础的物理知情神经网络(PINN)方法,利用 Laplace 近似法获得后验概率密度,通过计算证据度量进行假设分类,并通过贝叶斯算法精调损失组成部分的相对权重,解决热传导、波动和 Burger 的方程,获得与精确解良好一致性的 - 贝叶斯多项式神经网络与多项式神经常微分方程
发展和验证了拉普拉斯逼近、马尔可夫链蒙特卡罗采样方法和变分推断等贝叶斯推断方法,发现拉普拉斯逼近是解决这类问题的最佳方法。我们的工作可以轻松扩展到多项式神经网络等符号神经网络的更广泛类别。
- 在线拉普拉斯模型选择再探
本文重新推导了在线 Laplace 方法,表明它们针对一种在模型选择问题中纠正了模态的 Laplace 证据的变分界。在线 Laplace 方法以及其纠正模态的版本在近乎平稳点上实现最优解,通过应用于 UCI 回归数据集,优化关键参数并防止 - 贝叶斯神经网络的黎曼拉普拉斯近似
通过使用 Riemann 度量和自动微分等方法,我们提出了一种简单的参数近似后验分布,用于适应真实后验分布的形状,并解决了传统方法的局限性。
- 拉普拉斯 - 近似神经加性模型:结合贝叶斯推理提高可解释性
本文从贝叶斯角度探讨神经相加模型,并开发了实用的拉普拉斯近似方法。研究结果表明,使用该方法得到的神经相加模型可以提高表格回归和分类数据集以及现实世界医学任务的性能和解释性。
- 神经网络贝叶斯数值积分
本文介绍了一种基于 Stein 运算符的神经网络架构和 Laplace 近似的贝叶斯斯坦网络方法,以实现数值积分中的贝叶斯概率数值方法,相较于高成本的高斯过程模型,该方法在流体力学中的应用中表现了数倍的性能提高。
- ICML变分 Laplace 自编码器
该研究提出了一种名为 “变分 Laplace 自动编码器” 的深度生成模型的一般框架,在近似后验分布时采用拉普拉斯近似方法,提高后验表现,同时减少摊销误差。在 MNIST,Omniglot,Fashion-MNIST,SVHN 和 CIFA - 贝叶斯深度学习的加速线性化拉普拉斯近似
通过开发一种 Nystrom 近似方法来加速线性化变种 (Laplace Approximation) 和神经切向核 (NTKs) 之间的联系,以解决 Bayesian 神经网络中的非常规低效率问题。该方法通过自动区分前向模式来实现,具有可 - 具有连接切线核的尺度不变贝叶斯神经网络
该研究提出了基于参数缩放的先验分布与后验分布的不变性解决神经网络中泛化与可靠性问题,避免了参数总体规模变化对网络泛化性能的影响,从而提高了 Laplace 对数似然近似算法的不确定性校准效果。
- ICML贝叶斯去学习的挑战与陷阱
本文讨论了机器遗忘、贝叶斯遗忘、拉普拉斯近似和变分推断在神经网络回归任务中的应用及相关启示。
- ICMLL2M:基于优化驱动的二阶矩估计的实用后验拉普拉斯近似方法
本文提出了一种新的方法(L2M),通过使用 Adagrad 等优化器已经估算出来的梯度二次矩来构造 Laplace 近似,而不需要计算曲率矩阵。该方法不需要改变模型或优化器,可以通过几行代码实现,并且不需要引入任何新的超参数。我们希望该方法 - 拉普拉斯重现 —— 无需费力的贝叶斯深度学习
本文介绍了一种叫做 Laplace approximation (LA) 的 Bayesian 神经网络逼近算法,该算法可以实现更好的不确定性估计和模型选择,并通过实验证明其在计算成本上具有优势。
- 在线拉普拉斯近似贝叶斯联邦学习框架
本文提出了一种使用 Laplace 近似方法的联邦学习框架,其中使用多元高斯乘积机制构建并最大化全局概率分布,区分客户端之间的巨大差异,在客户端使用全局后验概率参数,通过学习约束减少了本地选择性遗忘,并在多个基准测试中实现了最先进的结果。
- 具有非高斯似然函数的状态空间高斯过程
本文提供 GP 建模的全面概述和工具,并使用状态空间方法处理非高斯似然。该方法使得在 o(n)时间和内存复杂度下解决一维 GP 模型成为可能。我们提出将高效的状态空间方法与现有 infernece 方法相结合的手段,包括拉普拉斯近似,变分贝 - 具单调激活函数的随机神经网络
本研究提出了一种利用高斯噪声从任何光滑单调激活函数创建随机单元的拉普拉斯近似,研究了该随机近似在训练一类与 Bregman 散度密切相关的 Restriced Boltzmann Machines 表现良好。我们称此类为指数族 RBM(Ex