Jun, 2017

具有潜变量的贝叶斯神经网络中的不确定性分解

PDF
TL;DR本文研究贝叶斯神经网络和潜在变量的概率模型，使用信息论方法和风险敏感目标分别将预测不确定性分解为认知和概率性成分，以解决主动学习和安全强化学习等领域中的模型偏差问题。
bayesian neural networkslatent variablespredictive uncertaintyepistemicaleatoric
发现论文，激发创造
  • 贝叶斯深度学习中不确定性分解的高效和风险敏感学习

    本文介绍了一种基于贝叶斯神经网络与潜变量的概率模型可用于对数据中的复杂噪声模式进行建模和决策，同时提出了一种通过不确定性分解策略辨识有信息量的数据点以及如何平衡预期成本、模型偏差与噪声厌恶的新型风险敏感标准用于强化学习。

    Oct, 2017

  • 集成学习中的准确不确定性估计和分解

    本研究介绍了一种 Bayesian 非参数集成学习方法，利用不同噪声和错误源的 Bayesian 非参数机制，对现有集成学习模型进行改进，以充分量化模型的不确定性，并将整体预测不确定性分解为不同的部分，实现了在噪声和错误较多的情况下，对空气污染暴露的预测及模型的偏差检测。

    Nov, 2019

  • 通过贝叶斯学习深度神经网络结构来度量不确定性

    这篇研究论文探究了一种新型的贝叶斯深度学习，通过在网络结构上执行贝叶斯推断来加强深度网络的不确定性估计，并提出了一种有效的随机变分推断方法，以统一网络结构和权重的学习。

    Nov, 2019

  • 模型和参数不确定性下的贝叶斯神经网络变分推断

    本研究旨在利用模型不确定性作为 BNN 结构学习的框架，提出了可与模型空间约束结合的可扩展变分推理方法，试图在模型和参数的联合空间中进行推理，进而实现结构和参数不确定性的组合，并在基准数据集上进行了实验，表明使方法比普通 Bayesian neural networks 更加稀疏，但得到了与竞争模型相当的精度结果。

    May, 2023

  • 轻量级贝叶斯神经网络具有异方差不确定性的变分推断框架

    本研究提出一种对轻量级贝叶斯神经网络（BNN）进行抽样无关变分推断的简单框架，通过将异方差预测不确定性和经验差异嵌入到学习得到的 BNN 参数的方差中，提高了预测性能。

    Feb, 2024

  • 缓解非可辨识性对具有潜在变量的贝叶斯神经网络推断的影响

    该研究提出了一种利用贝叶斯神经网络和潜变量来准确捕捉模型不确定性的方法，并解决了该模型普遍存在的非识别性问题，并通过开发一种新的推断程序来提高预测准确性和不确定性估计。

    Nov, 2019

  • 透过输入澄清集成对大型语言模型的不确定性进行分解

    本文介绍了一种用于大型语言模型的不确定性分解框架，称为输入澄清集合，可提供准确可靠的不确定性量化，改进了大型语言模型的可靠性、可信度和可解释性。

    Nov, 2023

  • 可证明的 Noisy-or 网络学习

    本文介绍了如何使用张量分解学习单层嘈杂或网络的方法，并解决了存在系统性误差时如何对张量分解进行分析的问题，这一方法在其他设置中可能有用。

    Dec, 2016

  • 利用潜在二元变量和归一化流稀疏化贝叶斯神经网络

    本文介绍了使用本地重新参数化技巧（LRT）和归一化流在 LBBNN 方法的变分后验分布上的应用，以改进预测性能并获得更稀疏的网络，通过两个模拟研究证明这些贝叶斯方法的使用可以得到更为实际的预测不确定性估计。

    May, 2023

  • 多维贝叶斯回归最末层：不确定性量化与解缠

    我们提出了一种新的贝叶斯末层模型，用于处理异方差噪声下的多变量回归，并提出了一种参数学习的优化算法。贝叶斯末层模型将预测分布的贝叶斯建模与神经网络的参数化相结合，能够通过单次前向传递进行不确定性量化。该框架能够区分事件误差和认知误差，并可用于将经典训练的深度神经网络迁移到具有不确定性感知能力的新数据领域。

    May, 2024