Jul, 2023

距离保持机器学习用于不确定性感知加速器电容预测

PDF
TL;DR以深度神经网络和高斯过程逼近技术为基础的模型，通过奇异值分解和谱归一化密集层的比较，用于解决粒子加速器中高压转换调制器电容值预测问题，并显著提高了距离保持和准确度。
uncertainty estimationmachine learninggaussian processdeep neural networkdimensionality reduction
发现论文，激发创造
  • 粒子加速器的不确定性感知深度学习

    使用深度高斯过程逼近（DGPA）方法，我们对萨帕腾中子源（SNS）加速器的错误光束预测（分类）进行了研究，并为费米国家加速器实验室（FNAL）助推器加速器复合物（回归）提供了一个具有不确定性感知的代理模型。

    Sep, 2023

  • 距离感知简单方法改进单模型深度不确定性

    研究了如何改进深度神经网络的不确定性量化能力，基于确定性表示将不确定性量化形式化为极小化 - 极大化学习问题，提出了一种名为 SNGP 的方法，通过两个简单的改变来提高现代 DNN 的距离感知能力，取得了较好的预测、校准和超领域检测性能。

    May, 2022

  • 通过距离感知的确定性深度学习方法进行简单和有原则的不确定性评估

    SNGP 基于权重规范化和高斯过程，解决了深度神经网络中单模型在预测、校准和域外检测上的不确定性问题。

    Jun, 2020

  • 通过神经网络高斯过程提高深度学习输出不确定性估计和泛化能力

    提出一种简单的方法，将神经网络和高斯过程相结合，以更好地估计输出的不确定性和提高模型的泛化性能，并且采用随机变分推断算法和随机梯度下降法进行模型优化。实验结果表明，该方法在两个时空数据集上均表现出优异的性能。

    Jul, 2017

  • 关于单前向传递不确定性的特征折叠和深度核学习

    通过引入双 Lipschitz 约束，Deep Kernel Learning (DKL) 相对距离的保留提高了不确定性的估计质量。

    Feb, 2021

  • 通过稀疏高斯过程校准 Transformers

    使用稀疏高斯过程关注机制的变压器模型在多个预测任务上实现了具有竞争力的预测准确性，并提高了内部标定和区外鲁棒性检测。

    Mar, 2023

  • 利用高斯过程的深度因素进行预测

    本文提出了一种结合了经典时间序列模型和深度神经网络优点的数据驱动和可扩展的混合模型，通过潜在的全局深层次组件和局部的经典高斯过程模型来处理不确定性，并在实践中展示了比现有技术更高的准确性。

    Nov, 2018

  • 深度学习时代的可扩展贝叶斯推断：从高斯过程到深度神经网络

    本论文介绍了一种将大型神经网络装备上模型的不确定性的方法，并应用了这个方法在 ResNet-50 和深度图像先验网络上进行了实验。

    Apr, 2024

  • 基于自监督高斯正则化的深度分类器用于马氏距离不确定性估计

    介绍了一种轻量、快速、高性能的正则化方法用于 Mahalanobis 距离的不确定性预测，并需要对网络的架构进行最小的更改来推导有利于 Mahalanobis 距离计算的高斯潜在表示。通过在标准 OOD 基准测试上进行评估，证明了该方法在最小推理时间内实现了最先进的 OOD 检测结果，并且在预测概率校准方面非常有竞争力。

    May, 2023

  • 基于信息谱归一化高斯过程的轨迹预测

    通过使用先前学习到的先验知识以优化概率深度学习模型，提出了一种基于正则化的连续学习方法，应用于自主驾驶中的轨迹预测问题，证明了其在减少训练数据和跨场景情况下具有提高数据效率和鲁棒性的能力。

    Mar, 2024