我们提出了一种方法，通过将神经网络从权重空间转换为函数空间，来解决深度神经网络缺乏不确定性估计和难以整合新数据的问题。这种双重参数化的方法使我们能够制定出捕捉整个数据集信息的稀疏表示，为捕捉不确定性提供了一种紧凑而有原则的方式，并且能够在保持预测性能的同时整合新数据而无需重新训练。我们通过在 UCI 基准任务上的有关监督学习的不确定性量化的概念验证演示来支持所提出的方法。

Sep, 2023

神经网络优化中的参数空间正则化是提高泛化能力的基本工具，但是标准的参数空间正则化方法使得将对期望预测函数的显式偏好编码到神经网络训练中变得具有挑战性。本文从概率的角度来看待神经网络的正则化，并展示了通过将参数空间正则化视为对模型参数的经验先验分布的规定，我们可以推导出一种概率上合理的正则化技术，使得将有关对期望预测函数的信息明确编码到神经网络训练中成为可能。这种方法被称为函数空间经验贝叶斯（FSEB），包括参数空间和函数空间的正则化，数学上简单、易于实现，并且与标准正则化技术相比，仅产生很小的计算开销。我们通过实证评估这种正则化技术的效用并证明了所提出的方法在语义转移检测、高度校准的预测不确定性估计、从预训练模型进行任务适应和在协变量转移下改进泛化能力等方面具有接近完美的性能。

Dec, 2023

连续学习方法通过顺序贝叶斯推断模型对神经网络进行优化，使得神经网络对新任务的适应性更好、拥有更灵活的变分分布和更有效的正则化，从而实现更好的预测准确性。

Dec, 2023

通过构建具有功能等效性的网络的路径连接集合，将神经网络的权重空间视为弯曲的黎曼流形并沿着功能不变路径将网络移动，同时寻找满足次要目标的网络，通过路径抽样算法，能够训练具有数百万权重参数的神经网络来学习一系列分类任务而不会损失性能，同时适应包括网络稀疏化，增量任务学习和增加对抗强度在内的次要目标。

Apr, 2022

本论文提出了一种新颖的空间梯度缩放方法，该方法根据特征映射的空间特征测量互信息，动态学习每个卷积层的缩放，并证明了空间梯度缩放实现了与分支再参数化相同的学习动态，同时不引入网络结构变化。实验结果表明，我们提出的缩放方法在不搜索再参数化结构的情况下，以较低的计算成本优于最先进的再参数化策略。

Mar, 2023

文章探讨了一种在预测空间中采用 Dirichlet 先验和进行近似函数空间变分推理的方法，通过该方法，可以将相同的函数空间先验合并到不同的模型中，提高可扩展性，改进不确定性量化和敌对抗性。

Jul, 2023

图神经网络的学习动态可以重新构建为一个更熟悉的标签传播框架，因为这个过程中存在图的归纳偏差，从而提供了为什么学习后的图神经网络函数能成功推广以及在异构图上的病态行为的解释。实际上，稀疏化和实施学习动力学导致了一种具有经典算法效率和现代图神经网络效果的极简半监督学习算法。

Oct, 2023

通过利用权重矩阵的列空间和行空间的创新概念，我们引入了一种新的方法，可以在不降低性能的情况下大幅减少模型参数，从而解决了资源受限环境下深度学习模型的参数密集性问题。该方法适用于瓶颈层和注意力层，有效地减少了一半的参数，只造成轻微性能降级。通过对 ImageNet 数据集上使用 ViT 和 ResNet50 进行的大量实验，验证了我们的方法的有效性，并表明与传统模型相比具有竞争性能。这种方法不仅满足了对参数高效的深度学习解决方案的紧迫需求，还在实际场景中具有极大的应用前景。

Jan, 2024

本研究结合随机神经网络和张量程序的概念，研究了神经网络的收敛性和梯度动态性，在多种不同体系下，从而表明了该框架不仅可以引导更强的高斯过程的设计，而且还可以深入理解现代架构中的 SGD 动态。

Feb, 2019

使用函数值高斯过程提出了一种逼近贝叶斯不确定性量化的新框架，可应用于神经算子，实现对非线性动力系统的精确建模和预测。

Jun, 2024