提出了一个框架,通过学习的 Q 值来区分和估计强化学习中源于有限数据的认识不确定性和源于随机环境的aleatoric不确定性,并引入一种考虑不确定性的 DQN 算法,该算法表现出安全的学习行为,并在 MinAtar 测试中表现出优越性能。
May, 2019
该论文提出了一种深度学习可扩展的确定性和不确定性评估框架,并对两种最先进的可扩展方法进行了比较,即集成和MC-dropout,结果表明集成方法提供更可靠和实用的不确定性估计。
Jun, 2019
提供了一种比使用蒙特卡洛采样估计神经网络的认识不确定性的方法更加高效的近似方法,该方法适用于大规模视觉任务。
Aug, 2019
本文提出了一组新的方法,可以通过单次前向传递来估计深度神经网络中的认识不确定性,这些确定性不确定性方法在表示信息的前提下,在检测超出分布数据(OOD)方面表现出强大的性能,同时几乎不增加推理时间的计算成本。然而,DUMs是否校准良好且是否可以无缝地扩展到实际应用仍不清楚。本文对DUM进行分类和评估,发现当前方法的实用性受到分布移位校准的限制。
Jul, 2021
研究神经网络的不确定性问题,提出了一种新的不确定性量化方法,能够区分aleatoric和epistemic uncertainties,实验证明Ensembles可以提供整体性最好的解决方案,同时推荐采样softmax函数的超参数N大于100。
Apr, 2022
该研究提出了一种新的数据不确定性估计方法,通过主动去噪处理观察数据,以更准确地近似实际数据不确定性。实验证明,与标准方法相比,我们提出的方法更接近实际数据不确定性。
Dec, 2023
可信的机器学习系统不仅应返回准确的预测结果,还应提供可靠的不确定性表示。贝叶斯方法通常用于量化生成论和认知性不确定性,但近年来,备选方法,如证据深度学习方法,已变得流行。这篇论文提出了证据深度学习的新理论洞见,强调了优化二阶损失函数和解释由此得出的认知性不确定度度量的困难。通过一个系统的实验设置,涵盖了分类,回归和计数的多种方法,对二阶损失最小化中的确认性和收敛性问题,以及认知不确定性度量的相对(而不是绝对)性质提供了新的见解。
Feb, 2024
通过实验,我们观察到“认知不确定性孔洞”现象,即在大型模型和少量训练数据存在时,认知不确定性会明显降低,这与理论预期相反。该现象对基于认知不确定性的贝叶斯深度学习的实际应用产生问题,特别是在超出分布样本检测方面。
Jul, 2024
基于实验研究,证据深度网络产生的认知不确定性在某些情况下违反预期,这引发了对其准确性的质疑。在此基础上,我们提出了一种深度集成的正规化函数,称为冲突损失,以满足认知不确定性的两个要求,并且不损害深度集成的性能或校准性。
本研究针对不确定性量化(UQ)深度学习方法中随机不确定性评估的质量进行了系统比较,填补了当前科学研究中该领域的空白。通过比较深度集成(DE)和深度证据回归(DER)两种技术,我们发现随机不确定性与注入噪声水平相符,但在高噪声及高维度设置中,预测的不确定性存在显著误校准。这一发现表明针对这些方法的后期校准研究极具价值,尤其是在处理高噪声和高维数据时。
Nov, 2024