神经网络贝叶斯推断中的数据变异理论
本文提出了一种贝叶斯方法，通过非标准变分推理框架在GP-LVM中近似积分出潜在变量，从而通过最大化解析较低下界的确切边缘似然来训练GP-LVM，在学习非线性动态系统方面具有鲁棒性和自动选择非线性潜在空间维数的能力。
Sep, 2014
本文研究无限宽深层神经网络和高斯过程的等价性，提出一种计算高斯过程协方差函数的有效方法，并使用该方法在MNIST和CIFAR-10上进行了贝叶斯推断，在网络宽度增加时，训练神经网络的准确率和GP预测的不确定性分别增加，而有限宽度训练网络越接近GP，测试性能越好，GP预测通常优于有限宽度网络的预测，最后将这些GP的性能与随机神经网络的信号传播理论相联系。
Nov, 2017
通过对高斯均值场变分推理方法训练的深层贝叶斯神经网络的后验标准差进行矩阵低秩分解，我们可以将变分推理方法更紧凑地参数化，并提高其信噪比，从而加速其收敛速度。
Feb, 2020
使用贝叶斯较量的关键是无脊柱化，这可以提高现代深度神经网络的准确性和校准性，因为这些网络通常被数据欠规范，可以表示许多引人入胜但不同的解决方案。我们展示了深度集合提供了一个近似贝叶斯无脊柱化的有效机制，并提出了一种相关方法，通过在吸引盆地内进行无脊柱化来进一步提高预测分布，而不需要显着的开销。同时，我们还研究了模糊神经网络权重分布所隐含的函数先验，从概率的角度解释了这些模型的泛化性质。最后，我们提供了一个贝叶斯的视角来温和地校准预测分布。
Feb, 2020
该研究利用变分推断来近似后验推断高度超参数化的神经网络，研究发现当单层贝叶斯神经网络中的隐藏单元数量趋近于无穷大时，平均场变分推断下的函数空间后验均值实际上收敛于零，完全忽略数据，这与真后验收敛于高斯过程相反。这项工作提供了对变分推断中KL散度过度正则化的洞见。
Jun, 2021
本研究在假设先验的特征值谱和目标函数的特征展开系数遵循幂律的条件下，表征了高斯过程回归学习曲线的幂律渐近行为，此外，我们利用高斯过程回归和核岭回归之间的等价性来展示了核岭回归的泛化误差；无限宽神经网络可以与高斯过程回归相关联，我们展现了玩具实验来演示理论。
Oct, 2021
针对具有无界方差的神经网络权重的后验推断问题，提供了一种可解释且计算高效的条件高斯表达方法。该方法可利用高斯过程机器进行可行的后验推断和不确定性量化。
May, 2023
本研究解决了深度核过程中的确定性协方差核导致的表示学习问题，提出了一种新颖的方法，通过无限方差的贝叶斯深度神经网络来获得条件高斯表示的随机协方差核。关键发现是该方法在计算和统计上相较于现有方法具有显著优势，尤其在模拟和基准数据集展示效果显著。
Oct, 2024