ICMLJun, 2020

神经关系推理轨迹重构中的不确定性

PDF
TL;DR本文扩展了 Factorised Neural Relational Inference 模型，加入了输出每个相空间向量部分的均值和标准差以及相应的损失函数，以解决神经网络在多交互轨迹重建中缺乏输出不确定性估计的问题。本文研究了多种损失函数，包括凸函数和 Bayesian 方法，并且我们发现在考虑不确定性时，变量的物理意义非常重要，且存在难以避免的病态局部最小值问题。
neural networkstrajectory reconstructionuncertainty estimationfactorised neural relational inference modelloss functions
发现论文，激发创造
  • 贝叶斯神经网络中可行的函数空间变分推理

    在这篇论文中，我们提出了一个基于函数空间变分推断的可扩展函数空间变分推断方法，该方法明确地将贝叶斯推断应用于神经网络，并允许结合先验信息以产生可靠的预测不确定性评估。我们展示了该方法在一系列预测任务上的最新不确定性估计和预测性能，并证明其在安全关键的医学诊断任务中表现出色。

    Dec, 2023

  • 贝叶斯神经网络中的 “中间” 不确定性

    介绍了一种流行的近似推理方法 mean-field variational inference（MFVI）的表现限制，MFVI 无法在分离的观测区域之间给出校准的不确定性估计，解决这种问题的方法是使用一个经典技术，即线性 Laplace 近似。

    Jun, 2019

  • 基于误差对齐不确定性优化的可靠多模态轨迹预测

    通过提出基于误差对齐的不确定性优化方法和引入可训练的损失函数来估算深度神经网络的不确定性，以取得与模型误差相关性强的不确定性预测。该方法适用于连续结构化预测和回归任务，并在包括大规模车辆运动预测任务的多个数据集上进行评估，通过 Pearson 相关系数表明我们的方法提高了平均位移误差和不确定性与模型误差之间的相关性。

    Dec, 2022

  • 深度学习中的多元不确定性

    本文论述了深度学习在自主驾驶和机器人中导航和状态估计中的应用，为了在黑盒模型和卡尔曼和其他贝叶斯滤波器中更加稳妥可靠地使用深度学习，需要准确地量化多变量不确定性，提出并实验了通过神经网络建模多元不确定性的方法，并证明精确的多变量不确定性量化对于卡尔曼滤波器性能在领域内和领域外评估数据中的巨大影响，同时指出端到端滤波器训练可以允许不确定性预测来补偿滤波器的不足。

    Oct, 2019

  • 学习潜在的图结构及其不确定性

    该研究展示了在预测任务中，图神经网络（GNNs）利用关系信息作为归纳偏差以提高模型的准确性。通过学习图结构的方法来解决下游预测任务中未知的相关关系，同时证明了点预测损失函数（如平均绝对误差）的最小化并不能保证对潜在关系信息及其相关不确定性进行适当的学习。相反，合适的损失函数在随机模型输出上同时确保了（i）未知邻接矩阵潜在分布和（ii）在预测任务上的最佳性能。最后，我们提出了一种基于采样的方法来解决这一联合学习任务。实证结果验证了我们的理论观点，并证明了所提方法的有效性。

    May, 2024

  • 深度学习不确定性估计的通用框架

    提出了一种用基于贝叶斯信任网络和蒙特卡罗采样的方法来对神经网络进行不确定性估计，这个方法具有与神经网络结构和任务无关，不需要优化进程的更改，能够应用于已经训练好的结构，有效地提高了准确性。

    Jul, 2019

  • 使用因子图对经过训练的深度神经网络进行不确定性传播

    预测不确定性估计是一个具有挑战性的问题，阻碍了深度神经网络在安全关键应用中作为子系统的使用。我们通过将不确定性传播视为非线性优化问题，采用因子图的方法，观察到在大部分实验中（包括三个数据集和两种神经网络架构），相较于以前的工作，在性能方面取得了显著的提升。我们的实现平衡了采样和分析传播技术的好处，这在实现性能提升方面起到了关键作用。

    Dec, 2023

  • 神经状态空间模型：不确定性量化的实证评估

    本研究应用 Bayesian 概率框架和近似推理技术，对神经状态空间模型进行不确定性量化，得出模型输出的可信区间和惊奇指数，以有效诊断模型在潜在危险的分布区域内的使用可能性。

    Apr, 2023

  • 可靠的方差网络训练和估计

    本研究提出了新的互补方法来估计回归神经网络中的预测方差网络，经验证明此方法大幅改善了预测不确定性的估计。

    Jun, 2019

  • 物理引导神经网络中的对抗不确定性量化

    本文提出了一种基于物理启发式神经网络的深度学习框架，用于量化和传播受非线性微分方程支配的系统中的不确定性。通过建立概率表示，对系统状态进行训练以满足给定的物理定律表达式，并提供了一种有效训练深度生成模型作为物理系统的代理的规范化机制，在这些系统中，数据采集成本高，训练数据集通常较小。该框架提供了一种灵活的方式，用于因输入随机性或观测噪声而导致的物理系统输出不确定性的表征，完全绕过了重复采样昂贵的实验或数值模拟器的需求。作者通过一系列例子证明了方法的有效性，这些例子涉及非线性守恒定律中的不确定性传播以及直接从嘈杂的数据中发现流体通过多孔介质的本构规律。

    Nov, 2018