Jun, 2024

揭示大型生成网络的光芒：扩散模型中估计认识不确定性

PDF
TL;DRDiffusion Ensembles for Capturing Uncertainty (DECU) is an innovative framework designed to estimate epistemic uncertainty in generative diffusion models by efficiently training ensembles of conditional diffusion models with a static set of pre-trained parameters and employing Pairwise-Distance Estimators (PaiDEs) to accurately measure epistemic uncertainty in high-dimensional spaces.
generative diffusion modelsuncertainty estimationdecu frameworkepistemic uncertaintypairwise-distance estimators
发现论文，激发创造
  • 超扩散：利用单一模型估计认知和随机不确定性

    通过训练和样本采集大量扩散模型的集合来准确估计表观不确定性（可以通过更多的训练数据来减少的不确定性）和内在不确定性（与手头任务相关的不确定性）在将机器学习（ML）应用于医学影像和天气预报等高风险应用的过程中至关重要。而在模型架构复杂性增加时，训练这样的集合变得计算上难以处理。本论文介绍了一种新的集合方法，称为超扩散，它允许使用单个模型准确估计表观和内在不确定性。不同于现有的基于蒙特卡洛 dropout 的单模型集合方法，超扩散提供了与多模型集合相同的预测准确性。我们在两个不同的任务上验证了我们的方法：X 射线计算机断层扫描（CT）重建和天气温度预测。

    Feb, 2024

  • 评估可扩展的贝叶斯深度学习方法在稳健计算机视觉中的应用

    该论文提出了一种深度学习可扩展的确定性和不确定性评估框架，并对两种最先进的可扩展方法进行了比较，即集成和 MC-dropout，结果表明集成方法提供更可靠和实用的不确定性估计。

    Jun, 2019

  • SDE-Net：为深度神经网络提供不确定性估计

    我们提出了一种基于随机动态系统视角的量化深度神经网络不确定性的新方法，即神经随机微分方程模型 (SDE-Net)，并证明了其存在唯一解的性质，实验证明该模型在不确定性占据重要角色的一系列任务中优于现有的不确定性估计方法。

    Aug, 2020

  • DeeDiff: 动态不确定性感知的早期退出加速扩散模型生成

    我们提出了 DeeDiff，这是一个适应性地分配计算资源的早期退出框架，用于提高扩散模型的生成效率。通过引入基于时间步长的不确定性估计模块（UEM），我们的模型能够根据不同层的预测不确定性来决定推断的终止。通过使用基于不确定性的逐层损失策略，我们的模型能够获得与全模型相媲美的结果。在多个数据集上进行的实验表明，我们的方法在扩散模型上实现了最先进的性能和效率平衡，并且对于 CIFAR-10 和 Celeb-A 数据集甚至带来了额外的收益。

    Sep, 2023

  • 自动化深度集成与不确定性量化

    AutoDEUQ 使用深度神经网络和超参数搜索自动生成神经网络集合，并使用方差法将预测方差分解为数据方差和模型方差，这种方法在许多回归基准测试中优于几种现有的不确定性量化方法。

    Oct, 2021

  • 证据深度学习：提高地球系统科学应用的预测不确定性估计

    可靠和实用的地球系统科学建模领域中，证据深度学习是一种有前途的方法，它能够准确量化预测不确定性，包括预测方差和模型不确定性，还可以通过敏感性分析来解释模型的预测结果。

    Sep, 2023

  • 逃脱样本陷阱：使用配对距离估计器快速精确的认知不确定度估计

    该研究引入了一种新颖的方法，使用成对距离评估器（PaiDEs）对集成模型进行认识不确定性估计，这些评估器利用模型组件之间的成对距离建立熵的上下界，并使用这些界限作为信息准则的估计值。与最近的深度学习方法不同，这些方法依赖于基于样本的蒙特卡洛估计器，PaiDEs 能够以高达 100 倍的速度，覆盖更大空间（高达 100 倍），在更高维度上实现更准确的认识不确定性估计。为了验证我们的方法，我们进行了一系列常用于评估认识不确定性估计的实验：1D 正弦数据，Pendulum-v0，Hopper-v2，Ant-v2 和 Humanoid-v2。基于每个实验环境，应用主动学习框架来展示 PaiDEs 在认识不确定性估计方面的优势。

    Aug, 2023

  • 基于贝叶斯深度卷积编码 - 解码网络的代理建模和不确定性量化

    本文提出了一种使用卷积神经网络实现的关于具有随机偏微分方程的不确定性建模的代理模型，该方法使用变分梯度下降算法对参数进行 “近似贝叶斯推断”，可以在处理不确定性时实现和其他方法相比具有最先进的预测精度和不确定性量化，即使训练数据量相对较小，也能获得非常好的性能。

    Jan, 2018

  • DEUP：直接预测认知不确定性

    本文提出了一种直接估计超额风险的基于学习次级预测器和减去自身不确定性估计的框架，探讨了其与贝叶斯后验方差等主流方法的不同和改进点，并在一系列实验中展示了这种新方法在迭代学习和探索性强化学习等方面的优越性。

    Feb, 2021

  • DUDES：利用集合的深度不确定性蒸馏进行语义分割

    本研究介绍了一种新方法 Deep Uncertainty Distillation using Ensembles for Segmentation (DUDES)，它能够高效地进行深度神经网络的预测不确定性估计，而不会牺牲性能，以解决自动驾驶、医学图像和机器视觉应用中模型可靠性不足的问题。

    Mar, 2023