神经网络的概率元表示

Oct, 2018

Probabilistic Meta-Representations Of Neural Networks

Theofanis Karaletsos, Peter Dayan, Zoubin Ghahramani

TL;DR本文介绍了一种基于贝叶斯方法的神经网络先验分布，该分布使用潜在变量来表示网络中的单元，并以这些变量的值为条件抽取单元之间的权重。这种先验分布具有强大的相关性，可以作为一个基于函数的先验分布，有助于实现 Bayesian 正则化以实现简单结构的网络模型。

Abstract

Existing bayesian treatments of neural networks are typically characterized by weak prior and approximate posterior distributions according to which all the weights are drawn independently. Here, we consider a ri

bayesian neural networks prior distribution latent variables function prior

发现论文，激发创造

单元级别贝叶斯神经网络中先验的理解

研究了使用 Gaussian weight prior 和一类 ReLU 类非线性函数的深度贝叶斯神经网络形成的单位激活层级的先验分布随层级深度加深而变得更重尾的正则化效应。

Oct, 2018

贝叶斯深度学习只需要一个好的函数先验

本文为解决 Bayesian 深度学习中的先验分布选择困难性问题，提出了一种基于 Gaussian processes 的新颖的功能先验分布匹配框架，该框架可通过 Markov chain Monte Carlo 方法进行可扩展的先验分布采样，从而显著提高了性能。

Nov, 2020

深度神经网络的后验和变分推断与重尾权重

我们在贝叶斯框架中考虑深度神经网络，采用随机网络权重的先验分布。根据 Agapiou 和 Castillo（2023）的最新观点表明，重尾先验分布实现了对平滑性的自适应，我们提出了一个简单的基于重尾权重和 ReLU 激活的贝叶斯深度学习先验。我们证明了相应的后验分布在非参数回归、几何数据和 Besov 空间等多种情况下实现了近乎最优的极小极小收缩率，同时对底层函数的内在维度和平滑性进行了自适应。虽然迄今为止大多数方法需要在先验分布中内置一种模型选择的形式，我们方法的一个关键方面是它不需要对网络架构进行超参数采样学习。我们还提供了结果的变分贝叶斯对应物，表明均场变分近似仍然从近乎最优的理论支持中受益。

Jun, 2024

基于贝叶斯隐式神经表达的压缩

本文提出了一种基于变分贝叶斯神经网络的数据压缩方法，并使用相对熵编码代替量化和熵编码以优化 $eta$-ELBO 的速率失真性能，同时通过迭代算法学习先验权重分布并采用渐进式细化过程来有效提高压缩性能。实验证明，该方法在图像和音频压缩方面具有强大的性能，同时仍保持简洁。

May, 2023

深度先验

本研究探讨使用深度学习工具学习神经网络参数先验分布的可能性，结果表明此方法的变分贝叶斯算法具有很好的泛化能力且可以在元数据集上正确推断出周期信号的泛化结果。

Dec, 2017

将符号先验知识融入神经网络中的概念学习

通过使用元学习方法从符号贝叶斯模型的先验分布生成一组任务集，我们能够将快速概念学习所需的归纳偏倚转移到神经网络中，创造出具有对短逻辑公式表达的概念存在偏倚的神经网络，这些结果与人类表现高度一致。

Feb, 2024

宽泛的贝叶斯神经网络具有简单的权重后验分布：理论和加速采样

本研究提出了一种名为 'prior 重定向 ' 的方法，通过将贝叶斯神经网络后验变换为一种与 BNN 先验 KL 散度消失的分布，使用 prior 重定向，可以开发出更快的 MCMC 后验抽样算法，相较于未采用重参数化的标准 BNN，我们观测到全连接和残差网络的有效样本量最高可提高 50 倍。

Jun, 2022

具备领域知识先验的贝叶斯神经网络

通过变分推理，提出了一种将通用形式的领域知识（通过损失函数表示）整合到贝叶斯神经网络先验中的框架，使得后验推断和抽样具有高效性，以提升预测性能。

Feb, 2024

预测复杂度先验

本文提出了一种基于预测复杂度的贝叶斯先验方法，以应对神经网络等复杂模型中参数推理的挑战；在高维回归、神经网络深度和少样本学习等领域得到应用。

Jun, 2020

使用引导权重的深度学习中的稀疏不确定性表示

本研究提出一种基于感知器的设计方案，该方案结合了贝叶斯神经网络和深度集成等现代方法，通过在每层的权重矩阵中加入少量的诱导权重来降低存储和计算成本，同时保持较好的预测精度和不确定性估计能力。

May, 2021