本文提出了一种称为深层结构高斯过程混合专家的随机过程模型,该模型不仅可以进行确切的后验推断,而且具有吸引人的计算和内存成本,并且在作为高斯过程近似时可以比以前的近似方法更一致地捕捉预测不确定性。在各种实验中,我们展示了这种方法的低近似误差和竞争优势。
Oct, 2019
我们提出了一个实用且可扩展的高斯过程模型,用于大规模非线性概率回归。我们的专家混合模型在概念上简单,并以分层方式重新组合计算,以对整个高斯过程进行近似。通过封闭形式和分布式计算,可以实现高效的大规模并行化,同时保持内存消耗较小。因此,我们的模型具有处理任意大小数据集的潜力,而无需明确的稀疏逼近。我们提供了强有力的实验证据,表明我们的模型可以应用于超过数百万个数据的大数据集。因此,我们的模型有可能为一般的大规模高斯过程研究打下基础。
Dec, 2014
本文扩展了专家集成模型,提出了深度专家集成模型,该模型利用多组门和专家实现了输入空间的多重化,同时保持了小型化规模,在 MNIST 数据集和语音单音素数据集上的实验结果表明,该模型能够自动发现局部化的位置相关专家和类别相关专家,并有效地使用所有专家组合。
Dec, 2013
本文探讨了使用局部高斯过程模型来降低训练成本以及通过加权和计算 Wasserstein barycenter 等方法,对多个 product-of-expert 模型的预测进行校准和提高精度的技术。
Feb, 2021
提出了一种新的非平稳高斯过程模型,它由两个高斯过程组成,分别用于捕捉全局趋势和局部细节。新的预测模型还包括一个灵活的方差模型,使其更能适应具有变化波动性的表面,并在实验设计稀疏的情况下更稳定和准确地逼近复杂表面。此外,新模型通过量化响应所关联的局部变化,还可以改善预测区间。通过几个例子展示了该新预测模型的优点。
Jan, 2013
该研究使用混合专家模型代替传统高斯模型,在降低计算成本的同时,提高了模型的弹性和可伸缩性。
Feb, 2017
本文介绍通过将高斯过程嵌入可计算的和积网络中,实现灵活的先验函数分布,从而实现计算和内存高效、容易实施后验推理的概率回归模型。
Sep, 2018
本文提出了广义专家乘积 (gPoE) 框架,用于结合多个概率模型的预测,通过分析和实验证明,Gaussian processes 一般的 gPoE 具有可伸缩性、表达力和鲁棒性,同时是现有的组合方案无法同时满足的。
Oct, 2014
通过使用偏最小二乘回归构建少量超参数的混合分类高斯过程(Gaussian Process),我们提出了一种处理混合分类输入的广义克里金方法,并将其有效地应用于结构和多学科应用中,以展示悬臂梁的结构行为并促进绿色飞机的多学科优化,从而在单次飞行任务中减少 439 公斤燃油消耗。
Nov, 2023
我们提出了一种基于 “专家混合” 的综合框架,以解决传统模型和机器学习方法在处理复杂系统时的准确性和解释性之间的平衡问题。通过数据驱动的融合多样化的本地模型,充分利用基于原则的先验知识,我们的解决方案支持专家的独立训练,并结合了机器学习和系统辨识技术,同时支持合作和竞争学习范式。为了增强解释性,我们对专家组合的突变进行了惩罚。实验结果验证了我们的方法的有效性,能够产生与目标现象紧密相似且可解释的模型组合。
Jan, 2024