证据深度学习中的不确定性知识
该论文通过混合狄利克雷分布的变分推断来建模一致的目标分布,并通过学习得到的元分布模型提取目标模型中的学到的不确定性。实验证明我们提出的方法在各种基于不确定性的后续任务中具有优越性,并展示了学到的认知不确定性的一致性和不一致性带来的实际影响。
Feb, 2024
本文提出 TEDL Two-stage Learning 方法,基于 Dempster-Shafer 理论,用来量化深度学习模型在分类任务中的不确定性,通过实验表明,TEDL 与交叉熵相结合、替换 ReLU 为 ELU 可以提高稳定性和 AUC。
Sep, 2022
提出了一种基于 Fisher Information-based 的 Evidential Deep Learning 方法,该方法通过测量样本携带的信息量动态地重新加权目标损失项,使网络更专注于不确定类别的表示学习,在多个数据不确定性评估任务中具有更好的性能表现,特别是在更具挑战性的 few-shot 分类环境下。
Mar, 2023
可信的机器学习系统不仅应返回准确的预测结果,还应提供可靠的不确定性表示。贝叶斯方法通常用于量化生成论和认知性不确定性,但近年来,备选方法,如证据深度学习方法,已变得流行。这篇论文提出了证据深度学习的新理论洞见,强调了优化二阶损失函数和解释由此得出的认知性不确定度度量的困难。通过一个系统的实验设置,涵盖了分类,回归和计数的多种方法,对二阶损失最小化中的确认性和收敛性问题,以及认知不确定性度量的相对(而不是绝对)性质提供了新的见解。
Feb, 2024
通过在类概率上使用狄利克雷分布对主观逻辑进行建模并使用确定性神经网络从数据学习收集导致预测的证据的功能,我们提出一种与贝叶斯神经网络正交的方法,该方法可以直接推断出预测的不确定性。我们的方法在检测超出分布的查询和对抗性扰动方面取得了空前的成功。
Jun, 2018
可靠和实用的地球系统科学建模领域中,证据深度学习是一种有前途的方法,它能够准确量化预测不确定性,包括预测方差和模型不确定性,还可以通过敏感性分析来解释模型的预测结果。
Sep, 2023
在放射治疗剂量预测领域,我们应用了一种名为深度证据学习的不确定性量化框架,通过使用 Open Knowledge-Based Planning Challenge 数据集的医学影像,我们发现该模型可以有效地产生与预测误差相关的不确定性估计,在网络训练完成后仅经过重新构建原始损失函数以实现稳定实现。实验结果表明,深度证据学习相对于 Monte-Carlo Dropout 和 Deep Ensemble 方法,能够更线性地根据不确定性阈值变化的中位误差,与模型误差均匀校准的敏感性。同时,我们发现对于加入高斯噪声的 CT 强度,与表征数据噪声的 aleatoric 不确定性表现出更显著的分布变化。总的来说,我们的研究结果表明深度证据学习是一种有前景的方法,可以为放射治疗剂量预测的深度学习模型提供统计稳健性,我们还展示了如何使用这种模型构建预测的剂量体积直方图的置信区间。
Apr, 2024
该研究论文提出了一种将证据深度学习方法与持续学习框架相结合的方法,能够同时进行增量对象分类和越界检测,在 CIFAR-100 数据集上的实验结果显示,该方法在对象分类和越界检测方面表现出色。
Sep, 2023
本文针对文本分类任务中的 OOD 检测问题,提出了基于证据不确定性的方法,该方法通过引入辅助的离群样本和伪样本来训练模型,并明确建模了类别概率的不确定性。实验证明,该方法能够轻松部署于传统 RNN 和 Fine-tuned 预训练 transformers,并在 OOD 检测上优于其他方法。
Jul, 2021
介绍了 Evidential deep learning 在 named entity recognition (NER) 中实现 predictive uncertainty 的困难之处,并提出了一种可信 named entity recognition (E-NER) 框架,引入了两个基于不确定性的错误函数以及一系列基于不确定性的训练策略。实验证明 E-NER 能够应用于多种 NER 模式,并获得准确的不确定性估计。与最先进的基线相比,所提出的方法在 OOV/OOD 检测性能和 OOV 实体的泛化能力方面均有所提高。
May, 2023