本文引入了一种新的先验——泊松过程径向基函数网络，能够编码幅度稳定性和输入相关长度尺度， 而不像现有的先验那样难以纳入这些基本特性，同时证明了这种新的先验能够解耦这些特性的规范化，且随着观测次数趋于无限大，估计的回归函数是一致的，文章通过人造和真实示例展示了泊松过程径向基函数网络的行为。

Dec, 2019

本研究涉及Bayesian神经网络和深度高斯过程的研究，并提出了一种用于权重的近似后验方法，使用了全局诱导点以及深度高斯过程。此方法取得了现有最优性能，无需数据增强或加温，达到了86.7％的CIFAR-10的结果，可与Wenzel等人的SGMCMC相媲美。

May, 2020

本文为解决Bayesian深度学习中的先验分布选择困难性问题，提出了一种基于Gaussian processes的新颖的功能先验分布匹配框架，该框架可通过 Markov chain Monte Carlo方法进行可扩展的先验分布采样，从而显著提高了性能。

Nov, 2020

本研究提出了BNNpriors库，可以应用于贝叶斯神经网络，并且具有各种先验分布，包括重尾、层次结构和混合先验，以及模块化方法，易于设计实施自定义先验。通过在贝叶斯神经网络中发现冷后效应的本质，这将有助于未来的研究和实际应用。

May, 2021

研究使用贝叶斯神经网络作为替代标准高斯过程代理模型进行优化，并比较了多种不同的近似推理程序，发现在不同问题中，方法的排名高度依赖于问题本身。其中，在高维问题中，无限宽度的贝叶斯神经网络特别有前途。

May, 2023

本文提出了一种基于先验学习的新方法，用于提高深度神经网络的泛化和不确定性估计，该方法利用可伸缩和结构化的神经网络后验作为具有泛化保证的信息先验。我们的学习先验在大规模上提供了具有表现力的概率表征，可以看作是在ImageNet上预训练模型的贝叶斯对应物，并进一步产生非平凡的泛化界限。我们还将这个想法扩展到了一个连续学习的框架中，其中我们的先验的有利特性是可取的。我们的技术贡献是（1）Kronecker积分和求和计算，以及（2）导出和优化可追踪的目标，从而导致改进的泛化边界。从实证上来说，我们详尽地展示了这种方法用于不确定性估计和泛化的有效性。

Jul, 2023

基于无限宽度神经网络的高斯过程，并结合内核和推理方法，构建了一个场论的形式体系，研究了无限宽度网络的泛化性质，并从输入数据的统计性质得到了泛化性质的提取。

Jul, 2023

高斯过程常用于数据的随机函数逼近和不确定性量化，在机器学习中它们表现出优秀的预测能力，尤其在数据稀缺场景下，但核函数作为高斯过程的重要构建模块，通常需要进行复杂的定制，我们通过研究代表性数据集中多种核函数的表现、性质和性能，提出了一种融合现有核函数优点的新核函数。

Sep, 2023

神经网络在各个问题领域取得了显著的表现，但其普适性受到其内在限制的阻碍，如预测上的过度自信、解释能力的欠缺和对对抗攻击的易受攻击性等。为了解决这些挑战，贝叶斯神经网络（BNNs）已成为传统神经网络的引人注目的扩展，在预测能力中整合了不确定性估计。本文系统地介绍了神经网络和贝叶斯推理的基本概念，阐明了它们对BNNs的协同集成的发展。目标受众包括具有贝叶斯方法背景但缺乏深度学习专业知识的统计学家，以及具有有限贝叶斯统计知识但精通深度神经网络的机器学习专家。我们概述了常用的先验知识，分析了它们对模型行为和性能的影响。此外，我们还深入探讨了在BNN研究领域内的先进主题，承认了不断进行的辩论和争议。通过提供对前沿发展的深入洞察，本文不仅为研究人员和实践者提供了BNNs方面的坚实基础，还展示了该动态领域的潜在应用。作为宝贵的资源，它促进对BNNs及其前景的理解，推动知识和创新的进一步发展。

Sep, 2023

Bayesian神经网络以贝叶斯理念结合了神经网络的预测性能和对安全关键系统和决策制定至关重要的原则性不确定性建模。但是后验不确定性的估计取决于先验的选择，而在权重空间中找到信息量丰富的先验证明非常困难。为了解决这个问题，我们使用了一种基于广义VI的方法结合正则化的KL散度，可以被认为是BNN中具有高斯过程先验的函数空间推断的首个良定义变分目标。实验证明，我们的方法在合成数据和小型现实世界数据集上具备GP先验指定的特性，并与基于函数和权重空间先验的BNN基线相比，在回归、分类和外分布检测方面提供了有竞争力的不确定性估计。

Jun, 2024