Aug, 2015

使用哈密顿蒙特卡洛法进行非平稳高斯过程回归

PDF
TL;DR本文介绍一种新的方法，使用全非定常高斯过程回归，在该方法中，三个关键参数 —— 噪声方差、信号方差和长度尺度 —— 均可以同时受输入影响。我们采用基于梯度的推理方法，学习未知函数和非定常模型参数，无需任何模型近似。我们提出使用哈密尔顿蒙特卡罗方法推断全参数后验，通过模型梯度指导采样，方便地扩展了基于解析梯度的 GPR 学习。我们还通过梯度上升从后验中学习 MAP 解。在几个合成数据集和时间基因表达建模实验中，非定常 GPR 被证明是建模真实的输入依赖动态所必需的，而否则它的性能与传统的定常或以前的非定常 GPR 模型相当。
gaussian process regressionnon-stationaryinput-dependenthamiltonian monte carlotemporal gene expression
发现论文，激发创造
  • 高斯过程回归网络

    本文提出了一种新的回归框架，Gaussian process regression networks (GPRN)，它结合了贝叶斯神经网络的结构特性和高斯过程的非参数灵活性，可以适应多个响应变量之间的输入相关信号和噪声相关性，具有输入相关的长度尺度和振幅以及重尾进行预测分布的特点，并且提出了该模型的有效的马尔可夫链蒙特卡罗和变分贝叶斯推断过程。本文应用 GPRN 提出了多输出回归和多元波动性模型，展示了其在基准数据集上明显优于八个流行的多任务高斯过程模型和三种多元波动性模型的性能，其中包括一个 1000 维基因表达数据集。

    Oct, 2011

  • 非平稳异方差高斯过程回归的近似推断

    本文提出了一种用于高斯过程回归中噪声和信号方差的不精确积分的新方法，并使用期望传播进行推理，在两个模拟数据集和三个实证示例中与马尔可夫链蒙特卡罗方法进行比较。结果表明，期望传播能够产生可比较的结果，而计算量较小。

    Apr, 2014

  • 高斯过程全贝叶斯回归的近似推理

    本文介绍了高斯过程模型中两种推断超参数后验分布的方法，一种是哈密顿蒙特卡罗（HMC）求解采样近似，另一种是变分推断（VI），其中超参数后验分布被近似为一个因子化的高斯分布或全秩高斯分布，该文分析了完全贝叶斯高斯过程回归在多个基准数据集上的预测性能。

    Dec, 2019

  • 使用随机梯度哈密顿蒙特卡罗推断深高斯过程

    本研究使用随机梯度哈密尔顿蒙特卡洛方法对深层高斯过程模型的非高斯后验分布抽样，提供了一种新的推断方法，成为 Deep Gaussian Processes 领域新的最优模型。

    Jun, 2018

  • 具有软不等式约束和单调性约束的高斯过程回归

    引入了一个新的高斯过程模型，该模型通过量子启发的哈密顿蒙特卡罗方法来强制约束物理条件，从而提高准确性并减小方差。实验证明，在多个数据集上，该方法加速采样过程并保持准确性，适用于高维问题。

    Apr, 2024

  • 潜在高斯过程回归

    介绍了一种名为潜在高斯过程回归的方法，可以扩展输入空间，使用潜在变量来调制协方差函数以处理多模态和非平稳过程的回归问题，并在合成数据和实际应用中进行了验证。

    Jul, 2017

  • 参数高斯过程回归器

    提出了两种可扩展的高斯过程回归方法，通过应用变分推断和直接处理后验预测分布来改善模型预测不确定性。

    Oct, 2019

  • 随机梯度哈密尔顿蒙特卡罗

    研究了随机梯度 HMC，提出了一种使用带有摩擦项的二阶 Langevin 动力学的变体，以消除噪声梯度的影响，并使用该方法在神经网络和在线贝叶斯矩阵分解任务中验证了其有效性。

    Feb, 2014

  • 具有异方差或非高斯残差的高斯过程回归

    本文提出了一种名为 GPLC 的 GP 回归模型，该模型具有潜变量作为附加未观测到的回归协变量，能够处理非高斯残差和异方差残差的情况，采用马尔可夫链蒙特卡罗方法，实验结果表明，当数据具有异方差性时，GPLC 模型相对于标准的 GP 回归模型和只能处理异方差残差情况的 GPLV 模型，具有更好的表现。

    Dec, 2012

  • 多应答异方差高斯过程模型及其推断

    通过引入异方差高斯过程（Heteroscedastic Gaussian process regression），并结合协变量引导的精度矩阵过程的混合公式，我们提出了一个新的框架，扩展了异方差高斯过程（HeGP）的概念，从回归任务扩展到分类和状态空间模型。通过仿真和气候学的实际应用，我们展示了该模型的优越性和优势。

    Aug, 2023