ICLROct, 2022

基于采样的大型线性模型推断，应用于线性化拉普拉斯

PDF
TL;DR引入可扩展的基于样本的 Bayesian 推断方法、匹配的超参数选择方法和经典特征归一化方法，以解决线性化神经网络推断中的计算成本限制和先前突出的路径学问题，从而在 CIFAR100、Imagenet 和高分辨率层析成像重建任务中实现线性化神经网络推断。
发现论文，激发创造
  • 深度学习时代的可扩展贝叶斯推断：从高斯过程到深度神经网络

    本论文介绍了一种将大型神经网络装备上模型的不确定性的方法，并应用了这个方法在 ResNet-50 和深度图像先验网络上进行了实验。

    Apr, 2024

  • 将线性拉普拉斯模型证据应用于现代深度学习

    探究 Bayesian 深度学习中用于估计模型不确定性的线性化拉普拉斯方法，并评估其在模型选择方面的假设，并提出了针对现代深度学习更好的适应性建议。

    Jun, 2022

  • 基于子网络推断的贝叶斯深度学习

    本文介绍一种基于子网络推断框架和线性 Laplace 逼近的贝叶斯深度学习方法，用于提高深度神经网络的预测精度和有效性。在子网络中推断出如此表达力强大的后验逼近，该方法得以比全网络的后验逼近和 Ensembles 方法实现更好的效果。

    Oct, 2020

  • 在线拉普拉斯模型选择再探

    本文重新推导了在线 Laplace 方法，表明它们针对一种在模型选择问题中纠正了模态的 Laplace 证据的变分界。在线 Laplace 方法以及其纠正模态的版本在近乎平稳点上实现最优解，通过应用于 UCI 回归数据集，优化关键参数并防止过拟合，优于传统的早期停止方法。

    Jul, 2023

  • 广义拉普拉斯近似

    Bayesian 深度学习的不一致性引起了越来越多的关注，温度调节或广义后验分布通常提供了解决这个问题的直接有效方法。本研究引入了一个统一的理论框架，将 Bayesian 不一致性归因于模型规范不当和先验不足，提出了广义 Laplace 近似方法来获得高质量的后验分布。

    May, 2024

  • 线性化神经网络下的快速适应

    本文研究神经网络的归纳偏差，探讨了线性化的神经网络函数作为完整神经网络函数的概括之间的关系，并提出了一种新的方法将这种归纳偏差嵌入到高斯过程中以实现可解释的后验推断，无需采用标准技术（如微调神经网络权重）进行领域自适应。实验证明，该框架对于迁移学习非常有前途和便利。

    Mar, 2021

  • 近似贝叶斯推断中的重参化不变性

    Bayesian 神经网络的近似后验在重新参数化下保持不变的问题被证明在线性化拉普拉斯近似中得到缓解。通过发展一种新的几何观点来解释线性化的成功，并利用 Riemann 扩散过程将这些重新参数化不变性扩展到原始神经网络预测，从而提出了一种简单的近似后验抽样算法，从而在实证中提高了后验拟合。

    Jun, 2024

  • 连续变量信念网络中概率推理的拉普拉斯方法逼近

    本文介绍了拉普拉斯方法，一种用于逼近积分的渐近方法，作为连续变量信念网络中知识获取和概率推断的技术工具箱的潜在候选项。该方法在许多有趣的情况下以合理的精度逼近后验矩和边际后验分布，此方法还似乎有助于计算用于模型选择、模型不确定性和 pdf 混合的贝叶斯因子的近似值。拉普拉斯方法的局限性、正则性条件和计算难点与最大似然和后验模式分析方法相当。

    Feb, 2013

  • 混合拉普拉斯逼近以改善深度学习后验不确定性

    本文介绍了一种基于高斯混合模型后验的预测方法，通过对独立训练的深度神经网络的拉普拉斯近似加权求和，可以缓解深度神经网络对离群值的过于自信预测问题，并在标准不确定性量化基准测试中与最先进的基准进行了比较。

    Nov, 2021

  • 非线性回归模型的近似贝叶斯计算

    介绍了一种基于机器学习的方法，通过非线性条件异方差回归和改进的重要性采样方法估计后验概率密度，相较于现有方法在统计遗传学和排队模型等领域计算负担减轻了不少。

    Sep, 2008