Mar, 2024

基于信息谱归一化高斯过程的轨迹预测

PDF
TL;DR通过使用先前学习到的先验知识以优化概率深度学习模型，提出了一种基于正则化的连续学习方法，应用于自主驾驶中的轨迹预测问题，证明了其在减少训练数据和跨场景情况下具有提高数据效率和鲁棒性的能力。
prior parameter distributionsprobabilistic deep learningspectral normalized gaussian processescontinual learningtrajectory prediction
发现论文，激发创造
  • 基于 NNGP 的神经结构搜索

    本文研究 Bayesian 神经网络，使用 Monte-Carlo NNGP 推断方法得到 NNGP 性能，探讨其在神经架构搜索中的应用，发现 NNGP 性能具有成本低廉、独立于训练度量且可以用于缩小大搜索空间或提高基于训练的性能度量的优点。

    Nov, 2020

  • 神经网络高斯过程的比例混合

    本文提出了一种基于高斯随机变量尺度混合的 NNGPs 模型，并利用先验分布在最后一层参数上引入尺度先验，使得任何架构的无穷宽神经网络都能转化为一种更丰富的随机过程，通过实验进一步证明了该模型在回归和分类任务方面的可行性和鲁棒性。

    Jul, 2021

  • 图上的高斯过程

    通过图拉普拉斯正则化约束目标向量具有特定的图傅里叶变换系数，本文提出了一种基于图的信号的高斯过程，并证明了任何非平凡图的预测方差严格小于传统高斯过程。我们还在各种真实世界的图信号上验证了该方法表现比普通高斯过程更优秀，特别是在小训练数据规模和嘈杂训练下。

    Mar, 2018

  • 在无限宽度极限下探究神经网络隐式先验的不确定性特性

    本文研究深度学习模型的不确定性估计问题，基于神经网络高斯过程构建了一个概率模型，能够更好地校准模型并比较有限和无限宽模型的表现差异，同时也考虑了分类问题和迁移学习等实际应用场景。

    Oct, 2020

  • 通过距离感知的确定性深度学习方法进行简单和有原则的不确定性评估

    SNGP 基于权重规范化和高斯过程，解决了深度神经网络中单模型在预测、校准和域外检测上的不确定性问题。

    Jun, 2020

  • 距离感知简单方法改进单模型深度不确定性

    研究了如何改进深度神经网络的不确定性量化能力，基于确定性表示将不确定性量化形式化为极小化 - 极大化学习问题，提出了一种名为 SNGP 的方法，通过两个简单的改变来提高现代 DNN 的距离感知能力，取得了较好的预测、校准和超领域检测性能。

    May, 2022

  • 深高斯过程的双随机变分推断

    本文介绍了一种基于双随机变分推断的方法，用于深度高斯过程模型（Deep Gaussian processes）的推断。该方法能够有效地处理数百个到十亿个数据点的分类和回归任务，验证了其推断模型的实用性。

    May, 2017

  • 使用归一化流改进高斯过程

    通过参数可逆变换，扩大了高斯过程先验的类别，得到了一种计算效率高，具有良好的推测表现的算法，并在多个数据集上进行了验证。

    Nov, 2020

  • 条件神经过程

    本文提出了一系列的神经模型 CNPs，结合了深度神经网络和高斯过程两种方法，旨在对给定数据集做出精确预测。

    Jul, 2018

  • 稀疏变分受污染噪声高斯过程回归预测地磁扰动

    本文提出了一种使用受污染正态似然函数扩展高斯过程框架的方法，以更好地考虑异方差性和异常噪声。我们还提出了一种基于稀疏变分高斯过程方法的可扩展推理算法，用于在大型数据集上拟合具有受污染正态噪声的稀疏高斯过程回归模型。我们在地磁地面扰动应用中进行了实证研究，该应用基于神经网络的最先进预测模型，结果表明与人工密集神经网络基线相比，我们的方法在保持相似的覆盖率和准确性的情况下获得了较短的预测区间。

    Feb, 2024