本文讨论了在“不确定性采样”策略的背景下,确立和不可归约不确定性的区别,提出了“确立不确定性采样”的概念,并使用一种具体的方法来衡量确立不确定性和偶发不确定性。实验表明,确立不确定性采样效果良好。
Aug, 2019
该研究论文评估了机器学习中不确定性的现状,并尝试区分 aleatoric 和 epistemic 两种不确定性的类型。
Oct, 2019
本研究表明,显式地考虑 aleatoric uncertainty 可显著改善贝叶斯神经网络的性能,其中使用 Dirichlet observation model 可以匹配或超过 posterior tempering 的性能,无需 tempering。
Mar, 2022
研究神经网络的不确定性问题,提出了一种新的不确定性量化方法,能够区分aleatoric和epistemic uncertainties,实验证明Ensembles可以提供整体性最好的解决方案,同时推荐采样softmax函数的超参数N大于100。
Apr, 2022
探讨机器学习和统计学中难以避免的不确定性问题,区分概率和信息性不确定性,并分析数据对这些不确定性的影响。
May, 2023
Bayesian inference中的不确定性推断及其分解方法的研究。首次定义了测试数据和训练数据之间的敏感性,并扩展了Bayesian meta-learning的分析。
Jul, 2023
可信的机器学习系统不仅应返回准确的预测结果,还应提供可靠的不确定性表示。贝叶斯方法通常用于量化生成论和认知性不确定性,但近年来,备选方法,如证据深度学习方法,已变得流行。这篇论文提出了证据深度学习的新理论洞见,强调了优化二阶损失函数和解释由此得出的认知性不确定度度量的困难。通过一个系统的实验设置,涵盖了分类,回归和计数的多种方法,对二阶损失最小化中的确认性和收敛性问题,以及认知不确定性度量的相对(而不是绝对)性质提供了新的见解。
Feb, 2024
通过对ImageNet上的多个任务进行综合评估,本文发现尽管有许多有前景的理论努力,实际上还没有实现解缠,同时揭示了哪些不确定性估计器在特定任务上表现出色,为从业者提供了见解,并指导未来研究朝向以任务为中心和解缠的不确定性估计方法。
提出了基于合适评分规则(proper scoring rules)的新的测量方法,用于量化机器学习中的系统不确定性和认知不确定性,建立了不同不确定性表示之间的联系,并引入了新的认知和系统不确定性度量。
Apr, 2024
本研究针对不确定性量化(UQ)深度学习方法中随机不确定性评估的质量进行了系统比较,填补了当前科学研究中该领域的空白。通过比较深度集成(DE)和深度证据回归(DER)两种技术,我们发现随机不确定性与注入噪声水平相符,但在高噪声及高维度设置中,预测的不确定性存在显著误校准。这一发现表明针对这些方法的后期校准研究极具价值,尤其是在处理高噪声和高维数据时。
Nov, 2024