Nov, 2016

大规模模拟实验的实用异方差高斯过程建模

PDF
TL;DR本研究采用全新的维度，给出了在含有输入相关噪声的仿真实验中，基于似然度的高斯进展回归的统一视角，同时针对复制在该背景下起到重要的作用，考虑了先前方法在利用复制数据的情况下忽视了计算节省的问题，或在保持易处理时快捷地简化了完整的基于似然度的推理。通过充分品味的流程了解了多种应用的可能性，我们展示了从同方差过程开始，如何在似然下通过已知的 Woodbury 身份的多次应用来推断所有参数，从而绕过典型的大小计算。然后，借鉴机器学习中的潜在变量思路来解决异方差性，将其调整到与节俭推理框架相同的工作原理中，并因此同时利用复制设计的计算和统计效率。结果是一种可表征为单一目标函数的推理方案，包括封闭形式的导数，用于快速基于库的优化。提供了丰富的实例， 包括制造业和流行病管理的真实世界仿真实验的案例研究。
gaussian progress regressioninput-dependent noisereplicationwoodbury identitylatent-variable
发现论文，激发创造
  • 随机模拟实验的顺序设计：复制还是探索？

    本文研究了复制的优点并提供了最优设计方法，使用高斯过程代理模型获得全局准确性噪声计算机模拟实验的模拟。利用新开发的异方差高斯过程模型实现了动态设计方案，使其在计算和统计方面都有效，展示了其在库存管理和流行病学等两个挑战性的真实数据模拟实验中的性能。

    Oct, 2017

  • 多应答异方差高斯过程模型及其推断

    通过引入异方差高斯过程（Heteroscedastic Gaussian process regression），并结合协变量引导的精度矩阵过程的混合公式，我们提出了一个新的框架，扩展了异方差高斯过程（HeGP）的概念，从回归任务扩展到分类和状态空间模型。通过仿真和气候学的实际应用，我们展示了该模型的优越性和优势。

    Aug, 2023

  • 非平稳异方差高斯过程回归的近似推断

    本文提出了一种用于高斯过程回归中噪声和信号方差的不精确积分的新方法，并使用期望传播进行推理，在两个模拟数据集和三个实证示例中与马尔可夫链蒙特卡罗方法进行比较。结果表明，期望传播能够产生可比较的结果，而计算量较小。

    Apr, 2014

  • 大规模高斯过程回归的分层专家混合模型

    我们提出了一个实用且可扩展的高斯过程模型，用于大规模非线性概率回归。我们的专家混合模型在概念上简单，并以分层方式重新组合计算，以对整个高斯过程进行近似。通过封闭形式和分布式计算，可以实现高效的大规模并行化，同时保持内存消耗较小。因此，我们的模型具有处理任意大小数据集的潜力，而无需明确的稀疏逼近。我们提供了强有力的实验证据，表明我们的模型可以应用于超过数百万个数据的大数据集。因此，我们的模型有可能为一般的大规模高斯过程研究打下基础。

    Dec, 2014

  • 具有异方差或非高斯残差的高斯过程回归

    本文提出了一种名为 GPLC 的 GP 回归模型，该模型具有潜变量作为附加未观测到的回归协变量，能够处理非高斯残差和异方差残差的情况，采用马尔可夫链蒙特卡罗方法，实验结果表明，当数据具有异方差性时，GPLC 模型相对于标准的 GP 回归模型和只能处理异方差残差情况的 GPLV 模型，具有更好的表现。

    Dec, 2012

  • 贝叶斯回归和分类高斯过程模型的蒙特卡罗实现

    本文提出了使用高斯过程模型来进行非参数回归，分类等任务，通过使用马尔科夫链方法对高斯过程的协方差函数的超参数进行采样，可以发现数据的高级特性并实现预测响应所需输入的相关性。

    Jan, 1997

  • 参数高斯过程回归器

    提出了两种可扩展的高斯过程回归方法，通过应用变分推断和直接处理后验预测分布来改善模型预测不确定性。

    Oct, 2019

  • 异质多输出高斯过程预测

    本文提出了一种新的多输出高斯过程扩展方法，用于处理异构输出，此方法使用向量值高斯过程先验来联合建模所有似然函数中的参数作为潜在函数，并以线性模型为核心的协同关系形式使用协方差函数；在假设潜在函数之间存在条件独立性并利用引导变量框架的前提下，我们能够获得易于处理的变分下界，适用于随机变分推理。最后我们在合成数据以及两个真实数据集上：人类行为研究数据集以及人口统计高维数据集中展示了该模型的性能。

    May, 2018

  • 用复合高斯过程模型模拟昂贵函数

    提出了一种新的非平稳高斯过程模型，它由两个高斯过程组成，分别用于捕捉全局趋势和局部细节。新的预测模型还包括一个灵活的方差模型，使其更能适应具有变化波动性的表面，并在实验设计稀疏的情况下更稳定和准确地逼近复杂表面。此外，新模型通过量化响应所关联的局部变化，还可以改善预测区间。通过几个例子展示了该新预测模型的优点。

    Jan, 2013

  • 大数据的高斯过程

    介绍了一种基于随机变分推断方法的高斯过程模型，该方法使高斯过程模型能够应用于包含数百万数据点的数据集，并在需要执行变分推断的情况下，演示了如何将高斯过程分解为依赖于一组全局相关的引出变量的方法，并将其扩展到基于高斯过程的潜变量模型和具有非高斯似然度的模型。作者在简单玩具问题和两个真实数据集上展示了这种方法。

    Sep, 2013