Nov, 2023

变分椭圆过程

PDF
TL;DR我们提出了椭圆过程，这是一类非参数概率模型，它包含了高斯过程和学生 t 过程。通过连续高斯混合分布的表示，椭圆过程具有一系列新的重尾行为，同时保持计算可行性。使用样条标准化流的参数化混合分布来训练变分推断，并提出了适用于大规模问题的稀疏变分椭圆过程。通过回归和分类实验，我们强调了与高斯过程相比的优势。在非高斯似然函数或精确的尾部建模至关重要的情况下，椭圆过程可以取代高斯过程。
elliptical processesprobabilistic modelsheavy-tailed behaviorsvariational inferencelarge-scale problems
发现论文，激发创造
  • 椭圆形切片取样

    我们发现一种新的马尔可夫链蒙特卡罗算法，用于在具有多元高斯先验的模型中进行推断。它具有简单，通用的代码可应用于许多模型，没有自由参数且适用于各种基于高斯过程的模型，因此它是构建模型时理想的方法。

    Dec, 2009

  • 变分高斯过程扩散过程

    本文提出了一种基于连续指数族描述的高斯变分过程的参数化方法，利用凸优化算法来解决具有非线性扩散过程先验的潜在过程的生成模型下的概率推断和学习问题。

    Jun, 2023

  • 稀疏变分学生 - t 过程

    利用稀疏表示和变分推断的学生 - t 进程来建模含有离群值或具有重尾行为的数据，提供了一种比高斯过程更灵活的选择，减少了计算复杂性，并在多个合成和真实数据集上展示了其有效性。

    Dec, 2023

  • 椭圆帕累托过程的高效推理和模拟

    介绍了一种建立在 l-Pareto 过程上的极端事件定义的透露风险函数的极值理论的最新进展，提出使用一种椭圆形 l-Pareto 过程类作为阈值超过的极限，并提供了一种基于部分筛查最大化全似然的有效推断方法。同时，提出了一些新的精确条件和无条件模拟方法，并且利用瑞士的降水极端现象对这些思想进行了说明。

    Dec, 2013

  • 具有球谐特征的稀疏高斯过程

    该研究提出了一种新的互域变分高斯过程模型，使用球谐表示法将数据映射到单位超球面上，并采用类似变分傅里叶特征的推理方案，这使得模型能够在保持最先进准确度的同时，比标准稀疏高斯过程模型快出两个数量级拟合具有 600 万个条目的回归模型，并在具有非共轭似然函数的分类问题上展现出有竞争力的性能。

    Jun, 2020

  • 作为高斯过程的替代，学生 - t 过程

    我们比较了学生 T 过程与高斯过程作为非参函数先验的可行性，证明了学生 T 过程可以保留高斯过程的非参数表示法和解析边缘分布以及预测分布，同时具有增强的灵活性和预测协方差，特别适用于协方差结构发生变化或需要精确预测的情况。

    Feb, 2014

  • 高斯过程的变分傅里叶特征

    本篇论文提出了一种组合变分方法和光谱表示的高斯过程近似算法，通过研究高斯过程的光谱特征和协方差，进行了相关推导和分析，并将该算法应用于 Matern 核和高维数据的处理中，结果表明该算法在计算速度和精度方面都表现出色。

    Nov, 2016

  • 用复合高斯过程模型模拟昂贵函数

    提出了一种新的非平稳高斯过程模型，它由两个高斯过程组成，分别用于捕捉全局趋势和局部细节。新的预测模型还包括一个灵活的方差模型，使其更能适应具有变化波动性的表面，并在实验设计稀疏的情况下更稳定和准确地逼近复杂表面。此外，新模型通过量化响应所关联的局部变化，还可以改善预测区间。通过几个例子展示了该新预测模型的优点。

    Jan, 2013

  • 贝叶斯循环回归的 von Mises 准过程

    本文介绍了一种用于预测圆形值的回归模型，探讨了与高斯过程相关的一族表达且可解释的分布。该模型密度简单，具有最大熵，通过引入一种新的 Stratonovich-like augmentation，可以进行快速的 Markov Chain Monte Carlo 采样。同时，本文论证了在这些模型中采用贝叶斯方法进行参数的转导学习，通过适用于单位圆的两个欧几里得维度的概率模型，对风向和运动步态周期百分比进行了实验证明。

    Jun, 2024

  • 变分隐式过程

    提出了基于隐含过程的变分推断方法并在贝叶斯神经网络、高斯过程等复杂模型的不确定性估计和误差下降方面，相比现有的推断方法获得更好的结果。

    Jun, 2018