本文提出了一种新方法,通过在原始高斯似然函数上放置证据先验,训练神经网络 (NNs) 以估计连续目标及其相关证据,以学习 aleatoric 和 epistemic 不确定性。在多个基准测试中,本方法展示了学习良好校准的不确定度测量,可扩展到复杂的计算机视觉任务,并对对抗性和 OOD 测试样本具有鲁棒性。
Oct, 2019
本文介绍了一种结合深度学习和 Dempster-Shafer 理论的新方法,即证据回归网络 (ERN),用于预测目标并量化相关不确定性。通过理论分析,我们发现一种限制模型性能的约束,并引入一种改进方法以克服此限制。我们探索了 ERN 并提出了一种新的正则化项,使 ERN 能够从整个训练集中学习。大量实验证实了我们的理论发现,并证明了所提出解决方案的有效性。
Jan, 2024
通过在类概率上使用狄利克雷分布对主观逻辑进行建模并使用确定性神经网络从数据学习收集导致预测的证据的功能,我们提出一种与贝叶斯神经网络正交的方法,该方法可以直接推断出预测的不确定性。我们的方法在检测超出分布的查询和对抗性扰动方面取得了空前的成功。
Jun, 2018
可靠和实用的地球系统科学建模领域中,证据深度学习是一种有前途的方法,它能够准确量化预测不确定性,包括预测方差和模型不确定性,还可以通过敏感性分析来解释模型的预测结果。
Sep, 2023
可信的机器学习系统不仅应返回准确的预测结果,还应提供可靠的不确定性表示。贝叶斯方法通常用于量化生成论和认知性不确定性,但近年来,备选方法,如证据深度学习方法,已变得流行。这篇论文提出了证据深度学习的新理论洞见,强调了优化二阶损失函数和解释由此得出的认知性不确定度度量的困难。通过一个系统的实验设置,涵盖了分类,回归和计数的多种方法,对二阶损失最小化中的确认性和收敛性问题,以及认知不确定性度量的相对(而不是绝对)性质提供了新的见解。
Feb, 2024
该论文通过混合狄利克雷分布的变分推断来建模一致的目标分布,并通过学习得到的元分布模型提取目标模型中的学到的不确定性。实验证明我们提出的方法在各种基于不确定性的后续任务中具有优越性,并展示了学到的认知不确定性的一致性和不一致性带来的实际影响。
该论文介绍了一种基于随机集合解释置信度函数的认知深度学习概念,提出了一种新的随机集合卷积神经网络用于分类,并通过实验表明该认知方法在估计不确定性方面比传统方法具有更好的性能。
Jun, 2022
本文揭示了 Evidential Deep Learning(EDL)中由不确定性值产生的证据信号的存在,并通过理论和实证研究证明了 EDL 的不确定性与误分类偏差之间的关联,从而揭示出 EDL 对 loss functions 的耦合情况。
Oct, 2023
本文针对文本分类任务中的 OOD 检测问题,提出了基于证据不确定性的方法,该方法通过引入辅助的离群样本和伪样本来训练模型,并明确建模了类别概率的不确定性。实验证明,该方法能够轻松部署于传统 RNN 和 Fine-tuned 预训练 transformers,并在 OOD 检测上优于其他方法。
Jul, 2021
基于方差的方法扩展到分类问题中,量化分类的不确定性,实验结果显示这种方法在主动领域适应中与基于熵的方法的准确性相似,并提供了关于类别间不确定性和相关性的信息。
Nov, 2023