Feb, 2024

超扩散：利用单一模型估计认知和随机不确定性

PDF
TL;DR通过训练和样本采集大量扩散模型的集合来准确估计表观不确定性（可以通过更多的训练数据来减少的不确定性）和内在不确定性（与手头任务相关的不确定性）在将机器学习（ML）应用于医学影像和天气预报等高风险应用的过程中至关重要。而在模型架构复杂性增加时，训练这样的集合变得计算上难以处理。本论文介绍了一种新的集合方法，称为超扩散，它允许使用单个模型准确估计表观和内在不确定性。不同于现有的基于蒙特卡洛 dropout 的单模型集合方法，超扩散提供了与多模型集合相同的预测准确性。我们在两个不同的任务上验证了我们的方法：X 射线计算机断层扫描（CT）重建和天气温度预测。
epistemic uncertaintyaleatoric uncertaintymachine learningconditional diffusion modelshyper-diffusion
发现论文，激发创造
  • 揭示大型生成网络的光芒：扩散模型中估计认识不确定性

    Diffusion Ensembles for Capturing Uncertainty (DECU) is an innovative framework designed to estimate epistemic uncertainty in generative diffusion models by efficiently training ensembles of conditional diffusion models with a static set of pre-trained parameters and employing Pairwise-Distance Estimators (PaiDEs) to accurately measure epistemic uncertainty in high-dimensional spaces.

    Jun, 2024

  • 集成模型在超音速流动操作员学习中胜过单一模型的不确定性和预测

    在本研究中，我们使用三种不同的不确定性量化机制（均值方差估计、证据不确定性和集成）扩展了一个具有不确定性感知能力的 DeepONet 模型，并使用在各种马赫数和高度下通过计算流体力学生成的数据对该模型进行了训练和评估。我们发现，在插值和外插值范围内，集成方法在最小化误差和校准不确定性方面表现优于其他两种不确定性模型。

    Oct, 2023

  • 证据深度学习：提高地球系统科学应用的预测不确定性估计

    可靠和实用的地球系统科学建模领域中，证据深度学习是一种有前途的方法，它能够准确量化预测不确定性，包括预测方差和模型不确定性，还可以通过敏感性分析来解释模型的预测结果。

    Sep, 2023

  • 评估可扩展的贝叶斯深度学习方法在稳健计算机视觉中的应用

    该论文提出了一种深度学习可扩展的确定性和不确定性评估框架，并对两种最先进的可扩展方法进行了比较，即集成和 MC-dropout，结果表明集成方法提供更可靠和实用的不确定性估计。

    Jun, 2019

  • 自我分布蒸馏：高效的不确定性估计

    本研究提出了一种新颖的训练方法 S2D，它可以有效地训练出一个单一模型以估算不确定性，也可以构建这些模型的集合并应用分层集成蒸馏方法，结果显示 S2D 模型优于标准模型和 Monte-Carlo Dropout，甚至连标准深度集成都能被 S2D 集成和新型蒸馏模型超越。另外还进行了 LSUN、Tiny ImageNet 和 SVHN 的外分布检测实验。

    Mar, 2022

  • DiffHybrid-UQ: 可微分混合神经模型的不确定性量化

    混合神经可微模型 (Hybrid Neural Differentiable Models) 在科学机器学习领域中具有重要的进展。这些模型将已知物理学的数值表示与深度神经网络相结合，提供了增强的预测能力，并展现了在数据驱动的复杂物理系统建模方面的巨大潜力。然而，一个至关重要但尚未解决的挑战在于量化来自多个来源的内在不确定性。针对这个问题，我们引入了一种新的方法 DiffHybrid-UQ，用于混合神经可微模型中的有效和高效的不确定性传播和估计，充分利用了深度集成贝叶斯学习和非线性变换的优势。具体地说，我们的方法能够有效地识别和量化同时来自数据噪声 (aleatoric uncertainties) 和模型形式偏差以及数据稀疏性引起的认知不确定性 (epistemic uncertainties)。这是在贝叶斯模型平均框架下实现的，其中通过混合神经模型来建模随机噪声。在混合模型中的非线性函数通过无损变换 (unscented transformation) 实现这些不确定性的传播。与此相反，我们使用一组随机梯度下降 (SGD) 轨迹来估计认知不确定性。这种方法为网络参数和物理参数的后验分布提供了实用的近似。值得注意的是，DiffHybrid-UQ 框架的设计考虑到了实施的简单性和高可扩展性，使其适用于并行计算环境。通过一些受常微分方程和偏微分方程影响的问题，我们展示了所提出方法的优势。

    Dec, 2023

  • 集成分布蒸馏的通用框架

    通过构建神经网络集成，可以更好地进行预测和不确定性估计，并将不确定性分解为数据不确定性和模型不确定性。本文提出了一种保持神经网络集成分解性质的蒸馏框架，其预测性能与标准蒸馏相当。

    Feb, 2020

  • 基于一种狄利克雷分布混合的改进证据深度学习

    该论文通过混合狄利克雷分布的变分推断来建模一致的目标分布，并通过学习得到的元分布模型提取目标模型中的学到的不确定性。实验证明我们提出的方法在各种基于不确定性的后续任务中具有优越性，并展示了学到的认知不确定性的一致性和不一致性带来的实际影响。

    Feb, 2024

  • 组合分布蒸馏

    该论文提出了一种名为 EnD^2 的新方法，它使用 Prior Networks 对模型的输出分布进行建模，并使单个模型保留了集成模型减少计算成本和提高分类性能的同时，还能保留集合多样性的信息，用于估计不确定性。该方法不仅可适用于人工数据集，还取得了在 CIFAR-10、CIFAR-100 和 TinyImageNet 数据集上优于其他方法的成果。

    Apr, 2019

  • 生成气候模拟集合的潜在扩散模型

    利用新型生成式深度学习方法，在气候模拟数据集上训练出来的模型能够更快、更高效地生成大型集合数据，以提高气候模拟中的不确定性估计的效率。

    Jul, 2024