随机变分深层核学习
介绍了可伸缩的深度核,将深度学习架构的结构属性与核方法的非参数灵活性相结合,通过局部核插值、引入点、Kronecker 和 Toeplitz 代数进行转换,使用这些闭式核可以用作标准核的替代品,在表达能力和可伸缩性方面具有优势,通常情况下,学习和推断代价为 $ O (n)$,而预测代价为每个测试点的 $O (1)$。
Nov, 2015
本研究开发了基于随机变分推断的可伸缩算法,用于逼近后验概率分布,并且针对一类大规模的概率模型进行了技术开发;对两个概率主题模型进行了演示并应用于大量文献数据的分析,其中包括自然杂志、《纽约时报》和维基百科,结果表明随机变分推断可轻松处理大型数据集并优于传统变分推断,并且表明贝叶斯非参数主题模型优于参数主题模型;因此基于随机变分推断的算法可以将复杂的贝叶斯模型应用于大规模的数据集。
Jun, 2012
该研究基于深度神经网络学习参数化的内核算子,在 few-shot 回归任务中学习内核家族,从而使算法能够识别每个任务的适当内核,并通过实际应用于药物发现领域的 few-shot 回归任务与现有算法进行比较,表明其在复杂任务分布和状态下的性能优越。
May, 2019
本文提出了一种基于非参数核密度估计的变分逼近方法,通过优化内核位置和带宽参数最大化数据边际似然下限,不同于其他变分逼近方法,本方法能够捕捉后验分布的多个模式,并成功应用于各种图模型和非线性矩阵分解模型中,预测性能优于更专业化的变分方法和基于样本的逼近方法。
Jun, 2012
通过与一个识别模型相结合,我们开发了一个可扩展的深度非参数生成模型。在利用多层感知器的变分框架下,我们重新参数化变分后验分布,并推导出一个可处理深度学习任务规模数据集的变分下界公式,证明了该方法在深度无监督学习和深度贝叶斯优化领域的有效性。
Nov, 2015
本文介绍了一种基于双随机变分推断的方法,用于深度高斯过程模型(Deep Gaussian processes)的推断。该方法能够有效地处理数百个到十亿个数据点的分类和回归任务,验证了其推断模型的实用性。
May, 2017
通过基于先前指定的内核,采用数值逼近方法进行核函数选择 / 构造,从而探索构造非参数深度内核的解决方案,通过减半插值点的数量(使用与内核相关联的本征 RKHS 范数进行度量)而不会显着损失精度的简单前提来进行核函数选择。
Aug, 2018