对抗模型下不确定性的量化

Jul, 2023

Quantification of Uncertainty with Adversarial Models

Kajetan Schweighofer, Lukas Aichberger, Mykyta Ielanskyi, Günter Klambauer, Sepp Hochreiter

TL;DR利用对抗模型量化不确定性提高估计认知不确定性的准确性，相较于现有方法，Quantification of Uncertainty with Adversarial Models 能够更好地捕捉深度学习模型中的认知不确定性。

Abstract

Quantifying uncertainty is important for actionable predictions in real-world applications. A crucial part of predictive uncertainty quantification is the estimation of epistemic uncertainty, which is defined as

uncertainty quantification epistemic uncertainty deep ensembles mc dropout quantification of uncertainty with adversarial models

发现论文，激发创造

不确定性量化的对抗性攻击

机器学习模型容易受到对抗性示例的欺骗，对抗攻击针对的是不确定性量化技术，攻击的目标是操纵不确定性估计，实验结果表明这种攻击比诱导错误分类的攻击更有效。

Sep, 2023

预训练神经网络的认知不确定性量化

我们的研究旨在为任何预训练模型量化认识上的不确定性，不需要原始训练数据或模型修改，可以确保广泛适用于任何网络架构或训练技术；我们提出了一种基于梯度的方法来评估认识上的不确定性，通过分析输出相对于模型参数的梯度，从而指示必要的模型调整以准确地表示输入。

Apr, 2024

表征代理校准及消除标注员和数据偏差的不确定性来源

本文提出了一种简单的 Monte Carlo Dropout 算法，可以显式地量化神经网络输出的不确定性，利用此种不确定性可以解释模型复杂现象、如情感识别，此外也可以用于辨别主观标记样本和数据偏差的问题。

Sep, 2019

DiffHybrid-UQ: 可微分混合神经模型的不确定性量化

混合神经可微模型 (Hybrid Neural Differentiable Models) 在科学机器学习领域中具有重要的进展。这些模型将已知物理学的数值表示与深度神经网络相结合，提供了增强的预测能力，并展现了在数据驱动的复杂物理系统建模方面的巨大潜力。然而，一个至关重要但尚未解决的挑战在于量化来自多个来源的内在不确定性。针对这个问题，我们引入了一种新的方法 DiffHybrid-UQ，用于混合神经可微模型中的有效和高效的不确定性传播和估计，充分利用了深度集成贝叶斯学习和非线性变换的优势。具体地说，我们的方法能够有效地识别和量化同时来自数据噪声 (aleatoric uncertainties) 和模型形式偏差以及数据稀疏性引起的认知不确定性 (epistemic uncertainties)。这是在贝叶斯模型平均框架下实现的，其中通过混合神经模型来建模随机噪声。在混合模型中的非线性函数通过无损变换 (unscented transformation) 实现这些不确定性的传播。与此相反，我们使用一组随机梯度下降 (SGD) 轨迹来估计认知不确定性。这种方法为网络参数和物理参数的后验分布提供了实用的近似。值得注意的是，DiffHybrid-UQ 框架的设计考虑到了实施的简单性和高可扩展性，使其适用于并行计算环境。通过一些受常微分方程和偏微分方程影响的问题，我们展示了所提出方法的优势。

Dec, 2023

证据不确定性量化：一个基于方差的视角

基于方差的方法扩展到分类问题中，量化分类的不确定性，实验结果显示这种方法在主动领域适应中与基于熵的方法的准确性相似，并提供了关于类别间不确定性和相关性的信息。

Nov, 2023

对复杂动态系统中认识不确定性和随机不确定性量化的机器学习架构评估

本研究比较了多种机器学习技术的 UQ 准确性，并对两个模型（船只在波浪中的运动和 Majda-McLaughlin-Tabak 模型）进行了应用。

Jun, 2023

物理引导神经网络中的对抗不确定性量化

本文提出了一种基于物理启发式神经网络的深度学习框架，用于量化和传播受非线性微分方程支配的系统中的不确定性。通过建立概率表示，对系统状态进行训练以满足给定的物理定律表达式，并提供了一种有效训练深度生成模型作为物理系统的代理的规范化机制，在这些系统中，数据采集成本高，训练数据集通常较小。该框架提供了一种灵活的方式，用于因输入随机性或观测噪声而导致的物理系统输出不确定性的表征，完全绕过了重复采样昂贵的实验或数值模拟器的需求。作者通过一系列例子证明了方法的有效性，这些例子涉及非线性守恒定律中的不确定性传播以及直接从嘈杂的数据中发现流体通过多孔介质的本构规律。

Nov, 2018

深度学习中的单模型不确定性

本文提出了一种基于深度神经网络单模型的 aleatoric 和 epistemic 不确定性估计方法，分别为 Simultaneous Quantile Regression（SQR）和 Orthonormal Certificates（OCs），这些方法无需集成或重新训练深层模型就能达到竞争性能。

Nov, 2018

对于对抗样本检测中不确定度度量的理解

研究不同类型的不确定性测量方法及其在检测对抗性例子中的应用，揭示了 MC dropout 方法的不足，提出了利用概率模型集成来提高不确定性估计质量的建议。实验证明不同不确定性测量方法在 MNIST 和狗猫分类数据集上的不同效果。

Mar, 2018

基于可扩展的认知不确定性量化的器官分割基准测试

本研究通过深度学习方法对自动器官分割进行了评估，比较了不同方法在准确性、不确定性校准性和可扩展性等方面的强弱点，为可靠、稳健的模型开发提供了有价值的建议。

Aug, 2023