Oct, 2018

深度权重先验

PDF
TL;DR本文提出了深度权重先验（DWP）作为深度卷积神经网络的新型先验分布。DWP 利用生成模型来鼓励已训练卷积滤波器的特定结构，例如权重之间的空间相关性。作者提出了一种变分推断方法来处理这种隐式先验分布，并通过实验证明，当训练数据有限时，使用 DWP 可以改进贝叶斯神经网络的性能，使用 DWP 样本初始化权重也可以加速传统卷积神经网络的训练。
bayesian inferencemachine learning modelsconvolutional neural networksdeep weight priorvariational inference
发现论文，激发创造
  • 使用经验贝叶斯为贝叶斯深度神经网络指定权重先验

    提出了 MOdel Priors with Empirical Bayes using DNN（MOPED）方法，利用推理后验进行变分推断。 实验证明，该方法可以实现可扩展的变分推断并提供可靠的不确定性量化。

    Jun, 2019

  • 卷积神经网络的结构权重先验

    该论文探讨了在深度神经网络中为权重添加结构的好处，其中使用了随机 Gabor 过滤器设计第一层卷积神经网络的先验，以及估计每个隐藏特征与每个类之间关系的方式来为最终层权重添加先验。经验证明，这些结构化的权重先验可以为图像数据提供更有意义的功能先验。

    Jul, 2020

  • 深度图像先验的贝叶斯视角

    本文介绍了自然图像的一种先验算法 —— 深度图像先验，它使用卷积神经网络对随机输入进行输出，通过使用梯度下降来调整网络参数以使输出匹配观测值。该方法在一系列图像重建任务中表现良好。同时通过推导得出结论，该算法渐近等于一个平稳的高斯过程，这启发了贝叶斯推断的方法。通过使用随机梯度 Langevin 对后验推断实现去除过早终止的需要，并在去噪和修补任务中提高了结果表现。我们在一些一维和二维信号重建任务中验证了这些算法的实用价值。

    Apr, 2019

  • 深度先验

    本研究探讨使用深度学习工具学习神经网络参数先验分布的可能性，结果表明此方法的变分贝叶斯算法具有很好的泛化能力且可以在元数据集上正确推断出周期信号的泛化结果。

    Dec, 2017

  • 深度神经网络的后验和变分推断与重尾权重

    我们在贝叶斯框架中考虑深度神经网络，采用随机网络权重的先验分布。根据 Agapiou 和 Castillo（2023）的最新观点表明，重尾先验分布实现了对平滑性的自适应，我们提出了一个简单的基于重尾权重和 ReLU 激活的贝叶斯深度学习先验。我们证明了相应的后验分布在非参数回归、几何数据和 Besov 空间等多种情况下实现了近乎最优的极小极小收缩率，同时对底层函数的内在维度和平滑性进行了自适应。虽然迄今为止大多数方法需要在先验分布中内置一种模型选择的形式，我们方法的一个关键方面是它不需要对网络架构进行超参数采样学习。我们还提供了结果的变分贝叶斯对应物，表明均场变分近似仍然从近乎最优的理论支持中受益。

    Jun, 2024

  • 贝叶斯深度学习只需要一个好的函数先验

    本文为解决 Bayesian 深度学习中的先验分布选择困难性问题，提出了一种基于 Gaussian processes 的新颖的功能先验分布匹配框架，该框架可通过 Markov chain Monte Carlo 方法进行可扩展的先验分布采样，从而显著提高了性能。

    Nov, 2020

  • 单元级别贝叶斯神经网络中先验的理解

    研究了使用 Gaussian weight prior 和一类 ReLU 类非线性函数的深度贝叶斯神经网络形成的单位激活层级的先验分布随层级深度加深而变得更重尾的正则化效应。

    Oct, 2018

  • 贝叶斯深度学习中的先验知识综述

    该综述强调了先验选择对贝叶斯深度学习的重要性，并概述了各种先验方法及利用数据进行先验学习方法，以期激励实践者们更加谨慎地思考其模型的先验规范。

    May, 2021

  • 深度 Wishart 过程的改进变分近似后验

    本文研究深内核过程，利用 Wishart 分布作为变分近似后验，通过线性组合的 Bartlett 分解来进一步推广其分布，提高其预测性能。

    May, 2023

  • 一种贝叶斯方法实现不变深度神经网络

    本文提出了一种新颖的贝叶斯神经网络架构，可以通过推断不同权重共享方案的后验分布来仅从数据中学习不变性。当在包含特定不变性的数据集上进行训练时，我们的模型优于其他不变变体的结构。没有进行数据增强时同样成立。

    Jul, 2021