本文探讨了神经网络的过度参数化现象对于梯度下降收敛至全域最优解所需的程度及类型，并结合实验结果以浅层神经网络和平滑激活函数为例，证明了只需参数数量高于数据集大小的平方根时，梯度下降随机初始化即可收敛至全域最优解。

Feb, 2019

研究表明，过度拟合是深度学习方法的主要问题之一，但当训练中使用最小规范化规则时，线性回归问题中的过度拟合也可以实现高精度预测，需要超参数数量显著超过样本大小。

Jun, 2019

通过合成和半合成实验，我们对无监督学习中的超参数化不同方面进行了实证研究，发现在各种模型（如嘈杂OR网络、稀疏编码、概率上下文自由语法）和训练算法（如变分推断、交替最小化、期望最大化）中，超参数化可以显著增加回收潜在变量的数量。

Jun, 2019

本文提出直接近似贝叶斯模型函数空间或预测后验分布的方法，并指出了使用Kullback-Leibler divergence方法的优劣，提出了基于Bayesian linear regression的benchmark方法来评估预测质量和后验近似质量。

Nov, 2020

这篇研究论文探讨了边缘似然估计在学习约束和假设检验方面的吸引力特性，以及在深度神经网络中超参数学习、神经结构搜索等方面的一些挑战，提出了条件边缘似然作为一种较为实用的修正方法，以更好地反应泛化能力。

Feb, 2022

Scalable Spike-and-Slab is proposed as a Gibbs sampling implementation for high-dimensional Bayesian regression with a continuous spike-and-slab prior, resulting in significant computational efficiency improvements over existing implementations.

Apr, 2022

训练过参数的神经网络可以得到相同训练损失水平但具有不同泛化能力的极小值。本文分析了过参数化对锐度感知最小化策略（SAM）行为的关键影响，并提供了经验和理论结果，表明过参数化对SAM具有重要影响。具体而言，我们证明了在随机设置中SAM可以实现线性收敛速度，并且发现SAM找到的具有线性稳定性的极小值相比SGD更加平坦且具有更均匀分布的Hessian矩。我们的实验结果进一步表明，随着模型过参数化程度的增加，SAM的泛化性能持续改善。我们还展示了稀疏性在实践中为有效的过参数化提供了途径。

Nov, 2023

在这篇论文中，我们提出了一个基于函数空间变分推断的可扩展函数空间变分推断方法，该方法明确地将贝叶斯推断应用于神经网络，并允许结合先验信息以产生可靠的预测不确定性评估。我们展示了该方法在一系列预测任务上的最新不确定性估计和预测性能，并证明其在安全关键的医学诊断任务中表现出色。

Dec, 2023

前向论合理化了模型的泛化错误上界，为学习提供了健壮的PAC-Bayes边界。然而，已知损失的最小化会忽略错误规范化，在此情况下模型无法完全复现观测结果。我们分析了近确定、错误规范化和欠参数化替代模型的泛化错误，这是科学和工程中广泛相关的一种情况。我们证明了后验分布必须覆盖每个训练点以避免泛化错误的发散，并导出了一种满足此约束条件的集合假设，对线性模型而言额外开销最小。这种高效方法在模型问题上得到了证明，并应用于原子尺度机器学习中的高维数据集，由错误规范化导致的参数不确定性在欠参数化极限中仍然存在，从而可以准确预测和限定测试误差的上限。

Feb, 2024

Bayesian神经网络的近似后验在重新参数化下保持不变的问题被证明在线性化拉普拉斯近似中得到缓解。通过发展一种新的几何观点来解释线性化的成功，并利用Riemann扩散过程将这些重新参数化不变性扩展到原始神经网络预测，从而提出了一种简单的近似后验抽样算法，从而在实证中提高了后验拟合。

Jun, 2024