Dec, 2019

最优不确定性引导的神经网络训练

PDF
TL;DR本文提出了一种高度可定制的平滑成本函数来开发神经网络以构建最优预测间隔，在风能和电力需求数据上进行了测试，结果表明该方法减少了 PI 质量的变异性，加速了训练并将收敛概率从 99.2％提高到 99.8％。
neural networkuncertainty quantificationprediction intervalscost functiontraining convergence
发现论文，激发创造
  • 基于相似性和敏感度的不确定性感知神经网络

    本文提出了一种基于神经网络的不确定性量化方法，该方法考虑灵敏度意识以获取相似样本，通过预测绝对误差来找到不确定性，然后构建初始不确定性界限并进行边界校正，通过 UB 计算 NN 来减少计算和内存访问。

    Apr, 2023

  • 深度学习的高质量预测区间：一种无分布、集成方法

    本论文研究使用神经网络生成预测区间 (PIs) 以量化回归任务中的不确定性。通过导出一个无需分布假设的损失函数，该方法能够生成高质量的 PIs，并通过集成学习考虑了模型不确定性，实验结果表明该方法优于目前最先进的不确定性量化方法，平均 PI 宽度减少了 10% 以上。

    Feb, 2018

  • 神经网络不确定性估计在分类问题中的质量比较

    对深度学习的 UQ 方法进行了质量评估，比较了不同模型的不确定性估计质量。

    Aug, 2023

  • 科学机器学习中的不确定性量化：方法、指标和比较

    本文介绍了一个包含不确定性建模、解法和评估的完整框架，用于量化神经网络中包括噪声、有限数据、超参数、过度参数化、优化和采样误差及模型错误等多源的误差和不确定性，特别关注向无限维函数空间中的偏微分方程和操作映射的学习，包括一个在原型问题上进行的广泛的比较研究。

    Jan, 2022

  • 超参数化神经网络的有效不确定性量化和减少

    使用一种名为 PNC 预测器的方法，仅使用一个辅助神经网络，并结合适当的低计算重采样方法，以最低限度的开销建立了几种方法，利用仅四个训练网络就能构建渐近精确覆盖置信区间。

    Jun, 2023

  • 准确且可扩展的图神经网络的确知性不确定性估计

    安全部署图神经网络 (GNNs) 在分布偏移下需要模型提供准确的置信指标 (CI)。然而，尽管众所周知在计算机视觉领域 CI 质量随着分布偏移而降低，但 GNN 领域对此行为的研究仍然不足。因此，我们从在受控的结构和特征分布偏移下进行的 CI 校准案例研究开始，并证明了增强表达能力或模型规模并不总是导致 CI 性能的提高。因此，我们主张使用认识不确定性量化 (UQ) 方法来调节 CI。为此，我们提出了 G-$\Delta$UQ，这是一种新的单模型 UQ 方法，它将最近提出的随机居中框架扩展到支持结构化数据和部分随机性。在协变量、概念和图大小转移方面进行评估，G-$\Delta$UQ 不仅在获取校准 CI 方面优于几种受欢迎的 UQ 方法，而且在使用 CI 进行广义泛化预测或 OOD 检测时也优于其他方法。总的来说，我们的工作不仅引入了一种新的灵活的 GNN UQ 方法，还对安全关键任务中的 GNN CI 提供了新的见解。

    Sep, 2023

  • 对复杂动态系统中认识不确定性和随机不确定性量化的机器学习架构评估

    本研究比较了多种机器学习技术的 UQ 准确性，并对两个模型（船只在波浪中的运动和 Majda-McLaughlin-Tabak 模型）进行了应用。

    Jun, 2023

  • 基于贝叶斯神经网络的多变量回归材料性质预测的不确定性量化

    使用物理知识指导的贝叶斯神经网络（BNNs）进行材料预测，可实现准确的失效寿命预测和不确定性估计，提供决策依据。

    Nov, 2023

  • 贝叶斯神经网络推断的不确定性量化质量

    本研究通过对 10 种常见的推断方法在回归和分类任务中的预测不确定性估计结果进行实证比较，发现常用的指标可能会导致误导，并表明为了得到高质量的后验逼近并不一定需要具有捕获后验结构的推断创新。

    Jun, 2019

  • 神经网络势能单模型的不确定性量化表现未必比模型集合更好

    本研究考察了用于提高神经网络相互作用势模型的稳健性的多个不确定性量化方案，包括平均 - 方差估计，深度证据回归和高斯混合模型，并与现有基于集成的方法进行比较。研究表明，对于不确定性量化，成本有效的单一确定性模型尚不能始终匹配或胜过集成方法。

    May, 2023