本文研究了超参数化神经网络在存在随机噪声的情况下恢复真实目标函数的能力，证明了采用 L2 正则化的神经网络与相应的神经切线核的核岭回归输出相似，并可以实现 L2 估计误差的最佳最小值，数值实验证实了该理论，同时表明 L2 正则化方法提高了训练的鲁棒性并适用于更广泛的神经网络。

Jul, 2020

本文概述了 “过参数化机器学习” 的新理论，通过统计信号处理的角度解释最近研究发现的相应现象和结果，着重强调了这个研究领域的独特性和开放的问题。

Sep, 2021

通过合成和半合成实验，我们对无监督学习中的超参数化不同方面进行了实证研究，发现在各种模型（如嘈杂 OR 网络、稀疏编码、概率上下文自由语法）和训练算法（如变分推断、交替最小化、期望最大化）中，超参数化可以显著增加回收潜在变量的数量。

Jun, 2019

在简单的线性回归问题中，我们证明贝叶斯推断在模型平均 / 选择和贝叶斯岭回归设置中可能存在一致性问题。同时，我们利用学习率来修正这个问题，并提出了 SafeBayes 方法，从数据中学习学习率，其结果非常令人鼓舞。

Dec, 2014

对于几乎所有常见和现实设置，本论文旨在提供一种统一的理论来上界核回归的超额风险。通过提供适用于常见核函数和任意正则化、噪声、输入维度和样本数量的严格界限，并提供核矩阵特征值的相对扰动界限，揭示了核矩阵的特征值尾部分布形成一种隐式正则化现象，从而实现良好的泛化。本研究的结果适用于高输入维度的良性过拟合、固定维度的近似过拟合以及正则化回归的明确收敛速率。

Dec, 2023

本文提出了一种名为 RegBayes 的新型计算框架，该框架执行正则化的贝叶斯后验推断，其灵活性优于通过先验调节专家知识的传统方法，并且涵盖面更广。RegBayes 通过信息理论形式化之后，使正则化术语直接作用于期望的后验分布上，可以推断包括定向贝叶斯网络和无定向马尔科夫网络在内的各种模型，同时发掘潜在的预测特征，应用于分类和多任务学习。我们在多个基准数据集上进行的实证研究表明，RegBayes 从大边界学习和贝叶斯非参数学习中继承了优点。

Oct, 2012

Bayesian 神经网络的近似后验在重新参数化下保持不变的问题被证明在线性化拉普拉斯近似中得到缓解。通过发展一种新的几何观点来解释线性化的成功，并利用 Riemann 扩散过程将这些重新参数化不变性扩展到原始神经网络预测，从而提出了一种简单的近似后验抽样算法，从而在实证中提高了后验拟合。

Jun, 2024

本文从统计物理的角度研究了使用异方差神经回归模型对实际数据建模时遇到的困难，并且通过推导出的非参数自由能得出结论，证明了二阶段变化的存在，本文提供了异方差回归模型的理论解释，并提出一种优化正则化的方案。

Jun, 2023

该论文表明，将固定效应多重线性回归模型应用于过度参数化的数据集等同于用单一标量参数对数据进行拟合的超曲线参数化。通过这种等价性，可以采用以预测变量为中心的方法，其中每个预测变量都由所选参数的函数来描述。证明了即使存在违反模型假设的非线性依赖关系，线性模型也能够产生精确预测。在此处应用了以因变量和预测变量函数空间的单项基为参数化的方法来处理合成和实验数据。超曲线方法特别适用于处理预测变量中的噪声和 “不合适” 预测变量的正则化问题。

Apr, 2024

介绍了一种基于机器学习的方法，通过非线性条件异方差回归和改进的重要性采样方法估计后验概率密度，相较于现有方法在统计遗传学和排队模型等领域计算负担减轻了不少。

Sep, 2008