高斯过程常用于数据的随机函数逼近和不确定性量化，在机器学习中它们表现出优秀的预测能力，尤其在数据稀缺场景下，但核函数作为高斯过程的重要构建模块，通常需要进行复杂的定制，我们通过研究代表性数据集中多种核函数的表现、性质和性能，提出了一种融合现有核函数优点的新核函数。

Sep, 2023

本论文提出了一种可以学习非线性数据特性的内核函数家族，该家族通过一种可学习的输入分区来改进先前的方法，并在各种主动学习任务中表现出出色的性能。

Mar, 2023

在本文中，我们通过定义非局部方向导数的新概念，并分析其理论属性，推导出非局部导数是 ε-sub 梯度的概率重整结果，以及收敛于随机梯度下降方法的样本复杂度结果。最终，利用非局部梯度解决了图像关节流形上参数估计的高度不可微和非凸模型问题，并通过实验表明了在低训练数据情况下，使用布朗运动灌注的 ReLu 激活函数和非局部梯度胜过确定性的 ReLu 激活函数的优越的泛化能力。

Jun, 2024

本研究提出了一种利用高斯噪声从任何光滑单调激活函数创建随机单元的拉普拉斯近似，研究了该随机近似在训练一类与 Bregman 散度密切相关的 Restriced Boltzmann Machines 表现良好。我们称此类为指数族 RBM（Exp-RBM），该方法相比对比散度可以使用新颖的随机单元学习到有效的特征表示。

Jan, 2016

本文介绍了一种基于傅里叶特征表示和深度学习方法的高斯过程模型，可以学习任意复杂度的非平稳协方差核直接从数据中，而不会过拟合，并且可以应用于时间序列和遥感等领域。

Nov, 2017

我们研究了具有随机初始化参数和修正线性单元激活函数的大类浅层神经网络，并证明了这些随机神经网络是良定义的非高斯过程，由脉冲白噪声（随机狄拉克测度的组合）驱动的随机微分方程的解。这些过程由权重和偏置的分布以及输入域中每个有界区域中激活阈值的密度所参数化。我们证明这些过程是等向的，同时具有 Hurst 指数为 3/2 的广义自相似性，并导出了它们的自协方差函数的一个非常简单的闭式表达式。我们的结果从非渐近的视角来看与先前的工作有本质不同：输入域中每个有界区域（即宽度）的神经元数量本身是一个具有泊松分布的随机变量，并且其均值与密度参数成比例。最后，我们证明在适当的假设下，当期望宽度趋于无穷大时，这些过程除了能收敛到高斯过程外，还能收敛到依赖于权重分布的非高斯过程。我们的渐近结果提供了一种新的方法来看待几个经典结果（宽网络收敛到高斯过程）以及一些新结果（宽网络可以收敛到非高斯过程）。

May, 2024

使用函数值高斯过程提出了一种逼近贝叶斯不确定性量化的新框架，可应用于神经算子，实现对非线性动力系统的精确建模和预测。

Jun, 2024

基于无限宽度神经网络的高斯过程，并结合内核和推理方法，构建了一个场论的形式体系，研究了无限宽度网络的泛化性质，并从输入数据的统计性质得到了泛化性质的提取。

Jul, 2023

使用不正规的高斯过程先验可以定义比较平稳但不回均值的过程，我们引入了一类大量的不正规核函数，这些不正规核函数只能在不正规的情况下定义，其中包括产生无限平滑样本的平滑随机行走核函数，以及可以定义为任意整数次可微的不正规马特尔核函数，通过分析合成数据和真实数据，我们证明了这些不正规核函数解决了一些回均值高斯过程回归的已知病态问题，同时保留了大多数普通平稳核函数的有利特性。

Oct, 2023

通过将函数模型为非平稳高斯过程的样本函数，学习一对变量之间的功能关系，解决可用数据的相关结构的不均匀性问题，并在其中嵌套多个高斯过程，从而建立了两个高斯过程层的充分性。

Apr, 2024