Jul, 2024

在相互学习中基于贝叶斯神经网络的模型和特征多样性

PDF
TL;DR通过深度相互学习提高贝叶斯神经网络（BNNs）性能，增加网络参数分布和特征分布的多样性，促进同行网络获取不同特征，从而提高了分类准确性。
bayesian neural networksuncertainty quantificationmutual learningdiversityclassification accuracy
发现论文，激发创造
  • 模型合成中的多样性诱导信息瓶颈

    本文提出了基于多样性损失函数的神经网络集成方法，以适应多模态数据的建模，并证明了其在数据分布变化和识别未知数据方面的显著性能提升。

    Mar, 2020

  • 模型和参数不确定性下的贝叶斯神经网络变分推断

    本研究旨在利用模型不确定性作为 BNN 结构学习的框架，提出了可与模型空间约束结合的可扩展变分推理方法，试图在模型和参数的联合空间中进行推理，进而实现结构和参数不确定性的组合，并在基准数据集上进行了实验，表明使方法比普通 Bayesian neural networks 更加稀疏，但得到了与竞争模型相当的精度结果。

    May, 2023

  • 通过贝叶斯学习深度神经网络结构来度量不确定性

    这篇研究论文探究了一种新型的贝叶斯深度学习，通过在网络结构上执行贝叶斯推断来加强深度网络的不确定性估计，并提出了一种有效的随机变分推断方法，以统一网络结构和权重的学习。

    Nov, 2019

  • 使用变分贝叶斯神经网络约束 N 体模拟的宇宙学参数

    本文介绍了基于深度学习的近似贝叶斯神经网络和多项式归一化流方法，应用于天体物理参数恢复，发现与标准贝叶斯神经网络和翻转估计器相比，该方法能够更好地提高预测性能和准确估计不确定性，缓解变分参数的误差引入，并得到更接近真实后验分布的预测分布，从而为使用网络提供更合理的预测分布。该方法提高了维度的灵活性，有助于恢复大量的天体物理参数。

    Jan, 2023

  • 利用潜在二元变量和归一化流稀疏化贝叶斯神经网络

    本文介绍了使用本地重新参数化技巧（LRT）和归一化流在 LBBNN 方法的变分后验分布上的应用，以改进预测性能并获得更稀疏的网络，通过两个模拟研究证明这些贝叶斯方法的使用可以得到更为实际的预测不确定性估计。

    May, 2023

  • DNN 的概率表示：连接互信息和泛化

    本文提出了一种概率表示方法，用于准确估计深度神经网络的互信息，并利用估计器验证了信息理论对泛化的解释，得出了比现有方法更紧密的泛化界限。

    Jun, 2021

  • 构建 BNN：一种从预训练模型中估计贝叶斯不确定性的简单策略

    深度神经网络（DNN）是各种计算机视觉任务的强大工具，但它们经常在可靠的不确定性量化方面遇到困难 - 这是实际应用的关键要求。贝叶斯神经网络（BNN）能够进行不确定性估计，但无法扩展到高度不稳定的大型 DNNs，这些 DNNs 难以训练。为了解决这个挑战，我们引入了适应性贝叶斯神经网络（ABNN），这是一种简单且可扩展的策略，可以在后期以最小的计算和训练开销的方式将 DNNs 无缝转换为 BNNs。ABNN 通过简单的 BNN 适应层（附加到归一化层）和对预训练模型进行少量微调步骤，保留了 DNNs 的主要预测性能，并增强了它们的不确定性量化能力。我们在多个图像分类和语义分割任务的数据集上进行了大量实验证明，ABNN 在不需要集成方法通常需要的计算预算的情况下实现了最先进的性能。

    Dec, 2023

  • 高效而可扩展的贝叶斯神经网络：一阶因子

    文章中提出了一种基于秩 - 1 的参数化的贝叶斯神经网络和混合近似后验的方法，结合了深度集成和贝叶斯神经网络的优点，提供了一种有效的处理当前深度学习中不确定性和鲁棒性问题的方法。实验表明，在 ImageNet、CIFAR-10/100 和 MIMIC-III 中，秩 - 1 BNNs 在测试集上取得了最先进的性能。

    May, 2020

  • 评估贝叶斯深度学习用于射电星系分类

    评估不同的贝叶斯神经网络对于无线电星系分类问题的预测性能、不确定性校准和分布漂移检测的表现。

    May, 2024

  • 贝叶斯神经网络的模型架构调整

    本文提出一种新颖的网络架构搜索 (NAS) 方法，用于优化 Bayesian 神经网络（BNN）的精度和不确定性，同时减少推理延迟。与传统的 NAS 不同，该方法使用来自内部和外部分布的数据搜索模型的不确定性性能，从而可以在网络中搜索贝叶斯层的正确位置，并且相对于流行的 BNN 基线，使用的运行时仅为其一小部分，将推理运行时成本分别与 MCDropout 和 deep ensemble 相比在 CIFAR10 数据集上分别降低了 2.98 倍和 2.92 倍。

    Feb, 2022