提出一种基于稀疏高斯过程的框架,使用期望传播直接逼近一般高斯过程的似然函数,既包括了 SPGP 和 VSGP 用于回归的特殊情况,又兼顾了在线处理数据的能力,可用于解决分类问题。在基准数据集上的实验表明,该框架在小样本规模下,不仅能够最大程度地逼近非稀疏 GP 解,而且可降低分类错误率。
Mar, 2012
本文通过对4个预测问题进行4种不同近似算法的实证研究,考察预测质量与计算时间之间的关系,并将实验代码共享,以鼓励未来的比较研究。
May, 2012
本文提出了一种低秩/马尔科夫逼近的高斯过程模型,该模型在保证预测性能的同时提高了可扩展性并且适合于在多个机器/内核上并行运行。
Nov, 2014
本篇论文研究了在多任务高斯过程模型中如何持续不断地学习处理顺序输入输出观测值的问题,提出了基于在线贝叶斯推断先验——后验递归的方法,并结合诱导输入的稀疏近似引入了变分推断。通过该方法得到了可行的无限条件下界,并在自然情况下引入两个新的KL散度。本研究方法的关键技术是基于条件GP先验的递归重构,实现了对迄今为止学习到的变分参数的条件GP先验的递归重构。同时,该方法适用于许多类型的连续或离散的顺序观测,并且适用于可能出现潜在的多通道或异构观测值的场景。广泛的实验证明该方法具有可扩展性,表现可靠,并且对合成和真实世界的大量数据集的误差传播具有鲁棒性。
Oct, 2019
我们提出了一种名为 GP-Tree 的新方法,通过树状层次模型进行多类分类,该模型使用高斯过程和 DKL,其推断能力对于大规模数据集十分具有强大的表征能力,我们证明了该方法在标准增量少样本学习基准测试中的效率和准确性高于其他基线。
Feb, 2021
通过限制历史点的数量,经过改进后的高斯过程后验可以用于更有效的黑盒优化,这对高转换成本的GP-Opt实际应用,如湿实验中的化学物品切换和超参数优化中的数据/模型加载特别有用。
Jan, 2022
本研究提出了两种方法来扩展知识蒸馏的概念,包括数据中心方法和分布中心方法,以便用于高斯过程回归和分类,我们的方法可以有效地将知识蒸馏应用于高斯过程模型。
Apr, 2023
本研究提出了一种基于最近邻预测的高斯过程回归算法,相比于现有算法,该算法具有更快的计算速度和更准确的预测结果,并且其对数据集大小和样本误差的鲁棒性更强。
Jun, 2023
通过混合概率学习方法,我们介绍了一种基于高斯过程的开源库GP+,该库建立在PyTorch之上,具有用户友好性和面向对象的特点,用于概率学习和推理。我们还提出了融合非线性流形学习技术和高斯过程的协方差和均值函数的方法,并通过多个实例展示了GP+相对于其他GP建模库的独特优势。同时,我们还向GP+引入了能够进行概率数据融合和参数逆向估计的方法贡献以及在分类和定量变量混合特征空间上拥有节约参数的均值函数。我们在贝叶斯优化、多精度模型、灵敏度分析和计算机模型的校准等领域展示了这些贡献的重要影响。
Dec, 2023
通过引入灵活的两阶段高斯过程回归框架、自动核搜索算法、子采样启动策略和精确与可伸缩两种方法,本研究提出了一种泛用框架来解决GPR中的表示偏差、核函数错误和超参数错误问题,并在真实世界数据集上进行了广泛评估,验证了方法的鲁棒性和精确性。
May, 2024