- 高维度不确定性量化的贝叶斯深度学习框架
本研究提出了一种基于贝叶斯神经网络和哈密顿蒙特卡罗的新型深度学习方法,用于量化随机偏微分方程中的不确定性。通过多个数值实例,证明了该方法对于高维度前向和反向问题的不确定性量化是有效的。同时发现该方法的计算成本几乎不受问题维度的影响,具有处理 - ICLR具有主动学习用例的深度学习快速贝叶斯更新
针对新数据到来时重训练深度神经网络通常具有计算成本高的问题,因此本文提出了基于 Monte-Carlo 采样和最后一层 Laplace 逼近的贝叶斯更新方法,用于不同类型的贝叶斯神经网络,即 Dropout,Ensemble 和 SNGP, - ICML贝叶斯神经网络在宇宙学中的鲁棒性基于仿真的推断
使用贝叶斯神经网络框架进行 SBI 的训练,涉及宇宙微波背景的推断,并引入 cosmoSWAG 以缓解数据迁移问题。
- ICML使用贝叶斯神经网络和不确定性量化推断低表面亮度星系的结构参数
本研究使用贝叶斯神经网络推断(带有不确定性量化)从模拟低表面亮度星系图像中获取结构参数(大小、总亮度、光浓度等),相较于传统的轮廓拟合方法,我们证明了使用 BNN 获得的不确定性大小、精度与参数点估计比真实值更接近。此外,我们的方法速度也显 - ICLR预训练贝叶斯神经网络对异常的鲁棒性
ShiftMatch 是一种训练依赖的似然函数,可提高贝叶斯神经网络(BNN)对数据损坏的鲁棒性,并且在 CIFAR-10-C 上的性能表现出了强大的提升,能够超越 EmpCov 先验分布和纯深度集成方法。
- ICML宽泛的贝叶斯神经网络具有简单的权重后验分布:理论和加速采样
本研究提出了一种名为 'prior 重定向 ' 的方法,通过将贝叶斯神经网络后验变换为一种与 BNN 先验 KL 散度消失的分布,使用 prior 重定向,可以开发出更快的 MCMC 后验抽样算法,相较于未采用重参数化的标准 BNN,我们观 - KDD深度学习模型不确定性的校准
本文提出了一种基于概率贝叶斯方法的神经网络预测置信度校准方案,最大化置信度期望效用,用最大置信度校准误差度量预测的置信度和错误之间的关系,并在 COVID-19 诊断中测试取得了显著的效果。
- 基于贝叶斯神经建模的端到端语音识别增强方法应对闭模型对抗样本
本文使用先进的贝叶斯神经网络来检测对抗性噪声干扰下的自动语音识别系统,实验结果表明,该检测系统相对于当前现有的增强方法,可以提高 2.77% 至 5.42% 的检测率,并且可以将单词错误率降低 5.02% 至 7.47%。
- 脑电信号神经解码中的不确定性检测与降低
本研究提出了一种基于无序神经网络和贝叶斯神经网络的不确定性估计和减少模型(UNCER),用于减少脑电图解码中的不确定性,包括把模型参数的不确定性和输入信号的不确定性结合起来,进一步提出了基于数据增强的方法进行不确定性减少。
- ICML一种贝叶斯方法实现不变深度神经网络
本文提出了一种新颖的贝叶斯神经网络架构,可以通过推断不同权重共享方案的后验分布来仅从数据中学习不变性。当在包含特定不变性的数据集上进行训练时,我们的模型优于其他不变变体的结构。没有进行数据增强时同样成立。
- 宽广场(Wide)均场变分贝叶斯神经网络忽视数据
该研究利用变分推断来近似后验推断高度超参数化的神经网络,研究发现当单层贝叶斯神经网络中的隐藏单元数量趋近于无穷大时,平均场变分推断下的函数空间后验均值实际上收敛于零,完全忽略数据,这与真后验收敛于高斯过程相反。这项工作提供了对变分推断中 K - 使用贝叶斯神经网络检测对抗性示例
这篇论文提出了一种新的框架,即 BATer,使用贝叶斯神经网络(BNN)来模拟隐藏层输出分布的随机性和分散度,从而提高对抗性例子的检测性能,实验结果表明,与当前最先进的检测器相比,BATer 在对抗性例子检测方面表现更好。
- 贝叶斯神经网络的后验分布是什么样子的?
研究表明, 使用全批处理的哈密顿蒙特卡罗方法可以提高贝叶斯神经网络的性能,并证明模型中选择的先验分布对性能的影响较小,但相比于深度集成、SGLD 等计算代价较小的方法,HMC 呈现出更接近于精确后验分布的预测分布;同时,研究发现贝叶斯神经网 - ICLRALT-MAS: 一种用于机器学习算法主动测试的数据高效框架
本论文介绍了一种基于贝叶斯神经网络的框架,可通过只使用少量标记测试数据有效地测试机器学习模型的正确性,该框架利用数据扩充方法训练 BNN 以实现高精度,同时采用理论信息为基础的采样策略来采样数据点以实现准确的度量估计,并通过实验表明我们的方 - ICLR贝叶斯神经网络先验再审视
本研究研究使用随机梯度下降算法训练的神经网络的权重统计数据,发现卷积神经网络和 ResNet 的权重显示出强烈的空间相关性,而全连接网络则显示出重尾的权重分布,根据这些观察得出更好的先验可以提高对各种图像分类数据集的性能。
- 贝叶斯神经网络预测致密行星系统的溶解
通过深度学习技术,使用基于贝叶斯神经网络的新颖内部结构学习预测指标,成功预测行星系统的不稳定性,并且在不同情境下表现出了强大的泛化能力和计算速度,为预测行星系统不稳定性提供了新方法。
- 基于 NNGP 的神经结构搜索
本文研究 Bayesian 神经网络,使用 Monte-Carlo NNGP 推断方法得到 NNGP 性能,探讨其在神经架构搜索中的应用,发现 NNGP 性能具有成本低廉、独立于训练度量且可以用于缩小大搜索空间或提高基于训练的性能度量的优点 - 通过局部线性化改进贝叶斯神经网络的预测
本文提出了一种基于广义高斯牛顿近似方法的贝叶斯神经网络预测方法,将原始预测模型线性化为广义线性模型(GLM)后,用于后验推理和预测中,解决了拉普拉斯近似方法下的欠拟合问题。在多个标准分类数据集上以及外部分布检测中得到了验证。
- ICML贝叶斯神经网络和深高斯过程的全局诱导点变分后验
本研究涉及 Bayesian 神经网络和深度高斯过程的研究,并提出了一种用于权重的近似后验方法,使用了全局诱导点以及深度高斯过程。此方法取得了现有最优性能,无需数据增强或加温,达到了 86.7%的 CIFAR-10 的结果,可与 Wenze - k-tied 正态分布:贝叶斯神经网络中高斯均值场后验的紧凑参数化
通过对高斯均值场变分推理方法训练的深层贝叶斯神经网络的后验标准差进行矩阵低秩分解,我们可以将变分推理方法更紧凑地参数化,并提高其信噪比,从而加速其收敛速度。