用梯度作为神经网络不确定性的一种度量方法
本文提出一个流程,通过结合不确定性估计方法和解释方法来确定神经网络解释的不确定性,使用该流程对 CIFAR-10、FER + 和加利福尼亚房屋数据集生成解释分布,并通过计算这些分布的变异系数来评估解释的置信度,结果表明使用引导反向传播生成的解释具有较低的不确定性,并计算修改后的像素插入 / 删除指标来评估生成解释的质量。
Mar, 2024
提出了可解释和可操作的贝叶斯深度学习方法,不仅能够执行准确的不确定性量化,而且还能解释不确定性,识别其源,并提出减少不确定性影响的策略。
Apr, 2023
利用反事实梯度的方差作为信任度量衡,提出了 GradTrust 来探测大规模神经网络的误判率,并在 ImageNet 和 Kinetics-400 数据集上进行验证,结果表明 GradTrust 在 37 个实验模式中表现得最好。
May, 2024
本文对神经网络不确定性估计进行了全面的概述和介绍,包括模型不确定性和数据不确定性,并介绍了通过确定性神经网络、贝叶斯神经网络、神经网络集合和测试时间数据增强方法来建模这些不确定性的方法。此外,还讨论了不确定性方面的实际应用中存在的挑战和限制,以及未来工作的展望。
Jul, 2021
深度神经网络在风险决策中的应用受到广泛关注,已在医学、金融、制造和质量控制等领域取得广泛应用。本文提出了一种数学框架,用于量化深度神经网络模型的预测不确定性,特别针对含有离散特征变量的表格数据集。通过对结核病患者在治疗过程中的预测进行案例研究,结果表明在一定风险水平下,我们能够识别出风险敏感的情况,这些情况容易因为预测器中的误差而被错误分类。与蒙特卡洛丢弃法相比,我们提出的框架更加关注误分类的情况。我们的提出的深度学习不确定性量化框架可在存在离散预测误差的应用中支持基于风险的决策。
Oct, 2023
通过对神经网络的深度进行概率推理,我们能够只需一次前向传播,就能估计模型的不确定性。在真实的回归和图像分类任务中,我们验证了这一方法的效果,并证明它能提供不确定度校准、对数据集变化的鲁棒性和与计算成本更高的基线准确度相当的预测结果。
Jun, 2020
我们研究深度神经网络在其训练范围内的理解。我们提出了一种量化模型输入的不确定性的度量方法,基于训练模型在特征空间中学习的决策边界的几何安排和训练集的凸包。使用这种不确定性度量,我们的模型能够在遇到不确定的输入时放弃分类,从而使模型在更广泛的输入中具有更高的准确性。通过理论框架,我们能够确定模型在其训练范围内未知的领域,并制定方法来识别这些领域,在这些领域中模型的置信度保持较高。
Dec, 2023
提出了一种用基于贝叶斯信任网络和蒙特卡罗采样的方法来对神经网络进行不确定性估计,这个方法具有与神经网络结构和任务无关,不需要优化进程的更改,能够应用于已经训练好的结构,有效地提高了准确性。
Jul, 2019