使用张量列车分解实现数十亿个诱导输入的可扩展高斯过程

Oct, 2017

使用张量列车分解实现数十亿个诱导输入的可扩展高斯过程

Scalable Gaussian Processes with Billions of Inducing Inputs via Tensor Train Decomposition

Pavel Izmailov, Alexander Novikov, Dmitry Kropotov

TL;DR利用张量列车分解为变分参数的高斯过程建模方法，实现具有数十亿个输入点培训和端到端训练的深度神经网络和高斯过程回归 / 分类器的最新结果优化。

Abstract

We propose a method (TT-GP) for approximate inference in gaussian process (GP) models. We build on previous scalable GP research including stochastic variational inference based on inducing inputs, kernel interpolation, and structure exploiting algebra. The key idea of our method is to

gaussian process tensor train decomposition variational parameters deep neural networks end-to-end training

发现论文，激发创造

高斯过程模型推理网络的可扩展训练

本论文使用了基于随机推理网络的镜像梯度下降算法来实现高斯过程模型的推理，该算法针对大规模数据的情况具有可扩展性和易实现性，并且在实验中取得了与现有稀疏变分高斯过程方法相当甚至更好的表现。

May, 2019

使用子空间感应输入的完全可扩展高斯过程

本文介绍了一种全面可扩展的高斯过程实现体系，它通过使用子空间感应输入的表示技巧来处理高数量训练实例及高维输入数据的问题，并结合特定基于矩阵预处理的变分分布参数化，形成简化且数值稳定的变分下限。我们基于极具挑战性的极端多标签分类问题和大量类标签的负担，进行了说明性应用。我们通过在具有极大数量的实例和输入维度的数据集中呈现预测性能和低计算时间来展示我们方法的实用性。

Jul, 2018

大数据的高斯过程

介绍了一种基于随机变分推断方法的高斯过程模型，该方法使高斯过程模型能够应用于包含数百万数据点的数据集，并在需要执行变分推断的情况下，演示了如何将高斯过程分解为依赖于一组全局相关的引出变量的方法，并将其扩展到基于高斯过程的潜变量模型和具有非高斯似然度的模型。作者在简单玩具问题和两个真实数据集上展示了这种方法。

Sep, 2013

输入相关的稀疏高斯过程

使用神经网络进行影子点位置计算和变分后验分布参数估计可提高 Gaussian Processes 的可扩展性。

Jul, 2021

基于谐核分解的可扩展变分高斯过程

本文提出了一种新的可扩展的变分高斯过程近似方法，采用傅里叶级数将核作为正交核的和进行分解，利用这种正交性使众多诱导点具有低计算成本，能在回归和分类问题中利用输入空间的对称性，明显优于标准变分方法，并在 CIFAR-10 中取得与纯 GP 模型的最新成果。

Jun, 2021

参数高斯过程回归器

提出了两种可扩展的高斯过程回归方法，通过应用变分推断和直接处理后验预测分布来改善模型预测不确定性。

Oct, 2019

高斯过程的稀疏正交变分推断

本文介绍了一种新的稀疏变分逼近高斯过程的解释，使用感应点可以比以前的方法更具有可扩展性。它基于将高斯过程分解为两个独立过程的和：一个由有限势基感应点并跨越另一个捕获其余变化。我们表示，这种表达重新获得了现有的逼近值，并且同时允许获得较紧的较低边界和新的随机变分推理算法。我们展示了这些算法的效率，从标准回归到使用（深入）卷积高斯过程的多类分类，并在 CIFAR-10 中报告了完全基于 GP 的模型的最新结果。

Oct, 2019

张量网络约束核机器作为高斯过程

张量网络（Tensor Networks）被用于通过限制模型权重来加速核机器，在概率参数上置于 i.i.d. 先验下，我们证明了规范多项分解（CPD）和张量列车（TT）约束的核机器的输出可以恢复到一个完全特征化的高斯过程（Gaussian Process）。我们分析了 CPD 和 TT 约束模型的收敛性，并通过数值实验观察到 TT 相对于 CPD 在相同模型参数数量下表现出更多的高斯过程特性。从而，我们建立了张量网络约束的核机器和高斯过程之间的联系。

Mar, 2024

深高斯过程的双随机变分推断

本文介绍了一种基于双随机变分推断的方法，用于深度高斯过程模型（Deep Gaussian processes）的推断。该方法能够有效地处理数百个到十亿个数据点的分类和回归任务，验证了其推断模型的实用性。

May, 2017

稀疏高斯过程回归和潜变量模型的分布式变分推断

本论文介绍了一种基于稀疏高斯过程回归和潜变量模型的重新参数化变分推断方法，可以有效解决大规模数据集下高斯过程模型的可扩展性问题，并在飞行数据和 MNIST 数据集上证明了其优越性。

Feb, 2014