利用先验网络进行预测不确定性估计
本文提出了一种新的使用 Prior Networks 的不确定性估计方法来检测对抗攻击的方法,相较于传统方法的蒙特卡洛 dropout 取样有着更优的表现,该方法可以在白盒和黑盒情况下检测到多种对抗攻击。
Dec, 2018
本文提出了一种基于 Posterior Network 的方法,该方法使用 Normalizing Flows 预测任何输入样本的概率预测的闭合后验分布,可以精确地反映入内和外分布数据的不确定性,无需在训练时访问 OOD 数据,实现了最先进的 OOD 检测结果和数据集迁移下的不确定性校准。
Jun, 2020
提出了一种用基于贝叶斯信任网络和蒙特卡罗采样的方法来对神经网络进行不确定性估计,这个方法具有与神经网络结构和任务无关,不需要优化进程的更改,能够应用于已经训练好的结构,有效地提高了准确性。
Jul, 2019
本研究提出了一种替代贝叶斯 NN 的简单实现方法,其能够产生高质量的预测不确定性估计,并在分类和回归数据集上进行了实验以证明这一点。此外,研究还评估了在已知和未知数据分布下的预测不确定性,并证明该方法能够在超出分布的样本上表现出更高的不确定性,同时在 ImageNet 上证明了该方法的可扩展性。
Dec, 2016
研究了使用贝叶斯神经网络中的可学习不确定性来训练预测过程监控模型,以预测剩余时间和结果,并得出结论认为这种不确定性估计可以区分更精确和不太精确的预测,从而提高了用户对于这种预测系统的信心,在合作和以较小的数据集进行更早的实施方面具有潜在的可应用性。
Jun, 2022
探讨深度神经网络架构与训练机制与其相应的选择性预测和不确定性估计性能的关系,并在 484 个预训练的深度 Imagenet 分类器中进行了全面的选择性预测和不确定性估计性能研究,发现 ViT 架构在不确定性估计性能方面表现最优。
Jun, 2022
本研究调查了使用概率神经网络(PNN)来建模巧合不确定性的方法,PNN 生成目标变量的概率分布,能够在回归场景中确定预测均值和区间,实验证实了 PNN 在建模巧合不确定性方面的有效性,特别是在真实科学机器学习环境中,PNN 产生接近 0.97 的高精度输出均值估计和 0.80 的预测区间的高相关系数,为利用神经网络的复杂表示能力来揭示科学问题中的复杂输入输出关系的持续探索做出了贡献。
Feb, 2024
本文对神经网络不确定性估计进行了全面的概述和介绍,包括模型不确定性和数据不确定性,并介绍了通过确定性神经网络、贝叶斯神经网络、神经网络集合和测试时间数据增强方法来建模这些不确定性的方法。此外,还讨论了不确定性方面的实际应用中存在的挑战和限制,以及未来工作的展望。
Jul, 2021
本文针对文本分类任务中的 OOD 检测问题,提出了基于证据不确定性的方法,该方法通过引入辅助的离群样本和伪样本来训练模型,并明确建模了类别概率的不确定性。实验证明,该方法能够轻松部署于传统 RNN 和 Fine-tuned 预训练 transformers,并在 OOD 检测上优于其他方法。
Jul, 2021