引入了一种针对机器学习中误分检测的新型数据驱动相对不确定性度量方法,通过学习软预测的分布模式,可以根据预测的类别概率识别误分样本,并在多个图像分类任务中表现出超过现有误分检测方法的实证效果。
Jun, 2023
深度神经网络在风险决策中的应用受到广泛关注,已在医学、金融、制造和质量控制等领域取得广泛应用。本文提出了一种数学框架,用于量化深度神经网络模型的预测不确定性,特别针对含有离散特征变量的表格数据集。通过对结核病患者在治疗过程中的预测进行案例研究,结果表明在一定风险水平下,我们能够识别出风险敏感的情况,这些情况容易因为预测器中的误差而被错误分类。与蒙特卡洛丢弃法相比,我们提出的框架更加关注误分类的情况。我们的提出的深度学习不确定性量化框架可在存在离散预测误差的应用中支持基于风险的决策。
Oct, 2023
本文针对文本分类任务中的 OOD 检测问题,提出了基于证据不确定性的方法,该方法通过引入辅助的离群样本和伪样本来训练模型,并明确建模了类别概率的不确定性。实验证明,该方法能够轻松部署于传统 RNN 和 Fine-tuned 预训练 transformers,并在 OOD 检测上优于其他方法。
Jul, 2021
研究不同类型的不确定性测量方法及其在检测对抗性例子中的应用,揭示了 MC dropout 方法的不足,提出了利用概率模型集成来提高不确定性估计质量的建议。实验证明不同不确定性测量方法在 MNIST 和狗猫分类数据集上的不同效果。
Mar, 2018
针对机器学习模型影响采纳的关键因素之一 —— 信任,本研究提出了一组特征量,可以表征一个实例的复杂程度,并借助元学习框架评估误分类的风险。该框架在提高模型开发的复杂性方面具有潜在的应用前景,同时提供新的模型自我阻抗和解释手段。
Apr, 2023
研究在医学上,使用其他深度神经网络模型方法来捕捉模型的不确定性,以确定模型决策是否在个体患者上具有一定程度的可靠性,同样通过贝叶斯嵌入,RNN 模型可以更有效地捕获模型的不确定性,研究分析模型不确定性受各种输入特征以及患者亚组的影响。
Jun, 2019
在临床试验结果预测中,将不确定性量化、选择性分类和层次交互网络(HINT)相融合的方法显著提高了模型的性能,其中 PR-AUC 指标相对基础模型提高了 32.37%、21.43%和 13.27%,在预测 III 期试验时达到了 0.9022 的 PR-AUC 得分,表明该策略在临床试验预测领域具有鲁棒性和前景潜力。
Jan, 2024
对于集成预测不确定性以提高深度学习患者安全性的图像分类器,我们评估了两种不同的方法。我们发现,这些方法使用光学相干断层扫描的数据集训练,能够得出更可靠的结果,有望提高患者安全性。
Aug, 2019
该研究表明,在医学领域中,机器学习模型可以通过训练对数据实例输出不确定性得分,以便针对存在高度医学专家分歧的情况,特别是可以确定应该获得医学二次意见的病例,和通过直接预测不确定性得分的方法(DUP),可以更好地进行训练,优于通过分类来预测不确定性分数的方法。这一结论得到了理论结果和在大规模医学影像应用中广泛评估的支持。
Jul, 2018
本文提出了一种针对机器翻译 Uncertainty Prediction 的新型强大高效的不确定性预测器,在不同的数据集和应用场景中具有明显的降低计算成本和提高预测准确度的效果。
Apr, 2022