计算具有非平凡泛化界的深度（随机）神经网络，其参数数量远多于训练数据

Mar, 2017

计算具有非平凡泛化界的深度（随机）神经网络，其参数数量远多于训练数据

Computing Nonvacuous Generalization Bounds for Deep (Stochastic) Neural Networks with Many More Parameters than Training Data

PDF

Gintare Karolina Dziugaite, Daniel M. Roy

TL;DR通过优化 PAC-Bayes 边界，我们能够计算深度随机神经网络分类器的数量较小、训练示例数量唯有数万个的保真度上限，并将我们的发现与近期以及早期的扁平最小值和基于 MDL 的泛化解释联系起来。

Abstract

One of the defining properties of deep learning is that models are chosen to have many more parameters than available training data. In light of this capacity for overfitting, it is remarkable that simple algorithms like SGD reliably return solutions with low test error. One roadblock

deep learning implicit regularization generalization bounds pac-bayes bounds neural networks

发现论文，激发创造

通过泛化噪音鲁棒性，确定性 PAC-Bayesian 深度网络泛化界

本文研究了过参数化的深层网络使用随机梯度下降法（SGD）能够良好推广的能力，提出了一种 PAC-Bayesian 框架，利用这种能力为原始网络提供界限，同时不会受到权重矩阵谱范数乘积的影响。

May, 2019

深度学习的泛化界限

本研究提出了关于深度学习的泛化误差的准则，介绍了一种基于边际似然的 PAC-Bayesian Bound 方法来预测泛化误差，并进行了广泛实证分析以评估该方法的效果和特性。

Dec, 2020

ImageNet 尺度下的非空泛化界：一种 PAC-Bayesian 压缩方法

本文介绍了现代神经网络的普遍过拟合问题以及如何通过模型压缩来限制模型复杂度，提高模型泛化性能，同时基于对模型压缩技术的分析，提供了在压缩神经网络时的泛化误差界限及给出了实际应用于 ImageNet 分类问题中的第一个非微不足道的可行泛化误差保证。

Apr, 2018

广泛和深度神经网络的随机梯度下降的泛化界限

研究深度神经网络的训练和泛化，在过度参数化的条件下，通过神经切向随机特征模型 (NTRF) 来限制泛化误差，并建立了神经切向内核 (NTK) 的联系。

May, 2019

大型语言模型的非空泛化界

现代语言模型可以包含数十亿个参数，是否能够在训练数据之外泛化或者仅仅复述其训练语料库成为了一个问题。我们提供了针对预训练大型语言模型（LLMs）的第一个非虚空的泛化界限，表明语言模型能够发现适用于未知数据的规律。通过使用预测平滑的方法，我们推导出了适用于未界定的对数似然损失的压缩界限，并且我们将该界限扩展以处理子样本，加速在大规模数据集上的界限计算。为了实现非虚空的泛化界限所需的极限压缩水平，我们设计了 SubLoRA，一种低维度非线性参数化。通过这种方法，我们发现较大的模型具有更好的泛化界限，并且比较小的模型更容易压缩。

Dec, 2023

奇妙的概括度量无处追寻

神经网络在超参数化设置中的泛化界限无法达到紧致性，除非在总体分布上具备合适的假设。

Sep, 2023

深度神经网络的信息论泛化界

深度神经网络在实际应用中表现出卓越的泛化能力，本研究旨在通过信息理论的泛化界限来捕捉深度对于监督学习的影响和益处。通过从网络内部表示的训练和测试分布的 Kullback-Leibler（KL）散度或 1-Wasserstein 距离导出了两个层次性的泛化误差界限。KL 散度界限随着层索引的增加而收缩，而 Wasserstein 界限暗示了存在一个层作为泛化漏斗，它达到了最小的 1-Wasserstein 距离。在具有线性 DNN 的二元高斯分类设置下，推导出了两个界限的解析表达式。通过分析三个正则化 DNN 模型（Dropout，DropConnect 和高斯噪声注入）的连续层之间的强数据处理不等式（SDPI）系数，量化了相关信息度量在网络深入时的收缩情况。这使得我们的泛化界限能够捕捉与网络架构参数相关的收缩情况。将结果特化为具有有限参数空间和 Gibbs 算法的 DNNs 表明，在这些示例中，更深而较窄的网络架构具有更好的泛化能力，尽管这个观点的广泛适用性仍然有待讨论。

Apr, 2024

非凸学习中带噪声梯度方法的泛化误差界

本文应用 Bayes-Stability 框架证明算法相关的广义误差界，得到了随机梯度 Langevin 动力学以及其他一些带噪声梯度的方法（例如加动量，小批量和加速，熵 - SGD）的数据相关的新广义误差界，论文结果较之前相关研究更紧凑。

Feb, 2019

非凸学习的 SGLD 泛化界限：两种理论视角

本文提出了两个理论，分别使用稳定性和 PAC-Bayesian 结果的非渐进离散时间分析，研究了 Stochastic Gradient Langevin Dynamics（SGLD）在非凸目标下的泛化误差，其边界没有隐含依赖于参数的维数、规范或其他容量测量，优美地刻画了非凸设置中 “快速训练保证泛化” 的现象

Jul, 2017

通过压缩方法增强深度网络的泛化界限

本论文通过新的简洁再参数化方法的引入和新的 “噪声稳定性” 属性的发现，提供了一种基于压缩的框架来估计神经网络的泛化性能边界，并将此方法拓展到卷积神经网络中。

Feb, 2018