Apr, 2023

基于相似性和敏感度的不确定性感知神经网络

PDF
TL;DR本文提出了一种基于神经网络的不确定性量化方法，该方法考虑灵敏度意识以获取相似样本，通过预测绝对误差来找到不确定性，然后构建初始不确定性界限并进行边界校正，通过 UB 计算 NN 来减少计算和内存访问。
发现论文，激发创造
  • 最优不确定性引导的神经网络训练

    本文提出了一种高度可定制的平滑成本函数来开发神经网络以构建最优预测间隔，在风能和电力需求数据上进行了测试，结果表明该方法减少了 PI 质量的变异性，加速了训练并将收敛概率从 99.2％提高到 99.8％。

    Dec, 2019

  • 科学机器学习中的不确定性量化：方法、指标和比较

    本文介绍了一个包含不确定性建模、解法和评估的完整框架，用于量化神经网络中包括噪声、有限数据、超参数、过度参数化、优化和采样误差及模型错误等多源的误差和不确定性，特别关注向无限维函数空间中的偏微分方程和操作映射的学习，包括一个在原型问题上进行的广泛的比较研究。

    Jan, 2022

  • 超参数化神经网络的有效不确定性量化和减少

    使用一种名为 PNC 预测器的方法，仅使用一个辅助神经网络，并结合适当的低计算重采样方法，以最低限度的开销建立了几种方法，利用仅四个训练网络就能构建渐近精确覆盖置信区间。

    Jun, 2023

  • 神经网络不确定性估计在分类问题中的质量比较

    对深度学习的 UQ 方法进行了质量评估，比较了不同模型的不确定性估计质量。

    Aug, 2023

  • 对复杂动态系统中认识不确定性和随机不确定性量化的机器学习架构评估

    本研究比较了多种机器学习技术的 UQ 准确性，并对两个模型（船只在波浪中的运动和 Majda-McLaughlin-Tabak 模型）进行了应用。

    Jun, 2023

  • 距离感知简单方法改进单模型深度不确定性

    研究了如何改进深度神经网络的不确定性量化能力，基于确定性表示将不确定性量化形式化为极小化 - 极大化学习问题，提出了一种名为 SNGP 的方法，通过两个简单的改变来提高现代 DNN 的距离感知能力，取得了较好的预测、校准和超领域检测性能。

    May, 2022

  • 基于贝叶斯神经网络的多变量回归材料性质预测的不确定性量化

    使用物理知识指导的贝叶斯神经网络（BNNs）进行材料预测，可实现准确的失效寿命预测和不确定性估计，提供决策依据。

    Nov, 2023

  • 深度不确定性：比较深度学习算法中的不确定性量化方法

    本文研究比较了在一个物理系统的背景下，深度学习算法的不确定性量化方法，包括贝叶斯神经网络，Concrete Dropout 和 Deep Ensembles，并探讨了它们的优缺点，结果为使用和解释不确定性量化方法提出了一些建议。

    Apr, 2020

  • 物理约束神经网络与神经算子中的有噪输入输出不确定性量化

    通过引入贝叶斯方法来量化物理知识中 PINNs 和 NOs 中由于带有噪声的输入和输出引起的不确定性。

    Nov, 2023

  • 使用单个深度确定神经网络进行不确定性估计

    论文提出了一种通过单次前向传递来训练确定性深度模型的方法，该深度模型可以找到并拒绝分布外的数据点。此外，论文还提出了一种基于确定性不确定性量化（DUQ）的建议，并描述了一种新的损失函数和质心更新策略。通过引入梯度惩罚，我们能够可靠地检测分布外的数据，并且可以在大型数据集上缩放不确定性量化。最后，作者在一些难以检测的数据集上，如 FashionMNIST vs. MNIST 和 CIFAR-10 vs. SVHN，使用单个模型得出了比 Deep Ensembles 更好的结果。

    Mar, 2020