深度不确定性：比较深度学习算法中的不确定性量化方法
本研究比较了多种机器学习技术的 UQ 准确性，并对两个模型（船只在波浪中的运动和 Majda-McLaughlin-Tabak 模型）进行了应用。
Jun, 2023
本文介绍了一个包含不确定性建模、解法和评估的完整框架，用于量化神经网络中包括噪声、有限数据、超参数、过度参数化、优化和采样误差及模型错误等多源的误差和不确定性，特别关注向无限维函数空间中的偏微分方程和操作映射的学习，包括一个在原型问题上进行的广泛的比较研究。
Jan, 2022
本文研究了自主车辆在安全关键任务中使用神经网络时，面临的不可避免的误差问题，并给出了一些用于评估这种不确定性的方法和指标，比较了各种不确定性量化方法在特定 AV 任务和类型的优劣。
Jun, 2020
文章通过对 5 个基准数据集的系统评估，研究不同的不确定性量化方法在回归任务中的性能表现，发现没有一种方法完全优于其他方法，也没有一种特别可靠的错误排名。作者建议在已有的技术中进行选择。
May, 2020
本研究通过对 10 种常见的推断方法在回归和分类任务中的预测不确定性估计结果进行实证比较，发现常用的指标可能会导致误导，并表明为了得到高质量的后验逼近并不一定需要具有捕获后验结构的推断创新。
Jun, 2019
本研究旨在定量比较 GCNNs 中不确定性估计的可扩展技术，介绍了一组定量标准来捕捉不同方面的不确定性，并使用这些标准在 QM9 数据集上理论和实验比较了 MC-Dropout、deep ensembles 和 bootstrapping 这些不确定估计方法，结果表明合奏和自举法始终优于 MC-Dropout 方法，在不同的具体情境中具有不同的优点和缺点，并突出了来自不同领域的不确定性所带来的挑战。
Oct, 2019
混合神经可微模型 (Hybrid Neural Differentiable Models) 在科学机器学习领域中具有重要的进展。这些模型将已知物理学的数值表示与深度神经网络相结合，提供了增强的预测能力，并展现了在数据驱动的复杂物理系统建模方面的巨大潜力。然而，一个至关重要但尚未解决的挑战在于量化来自多个来源的内在不确定性。针对这个问题，我们引入了一种新的方法 DiffHybrid-UQ，用于混合神经可微模型中的有效和高效的不确定性传播和估计，充分利用了深度集成贝叶斯学习和非线性变换的优势。具体地说，我们的方法能够有效地识别和量化同时来自数据噪声 (aleatoric uncertainties) 和模型形式偏差以及数据稀疏性引起的认知不确定性 (epistemic uncertainties)。这是在贝叶斯模型平均框架下实现的，其中通过混合神经模型来建模随机噪声。在混合模型中的非线性函数通过无损变换 (unscented transformation) 实现这些不确定性的传播。与此相反，我们使用一组随机梯度下降 (SGD) 轨迹来估计认知不确定性。这种方法为网络参数和物理参数的后验分布提供了实用的近似。值得注意的是，DiffHybrid-UQ 框架的设计考虑到了实施的简单性和高可扩展性，使其适用于并行计算环境。通过一些受常微分方程和偏微分方程影响的问题，我们展示了所提出方法的优势。
Dec, 2023