泛化与平坦极小之间的 PAC-Bayesian 联系

Feb, 2024

泛化与平坦极小之间的 PAC-Bayesian 联系

A PAC-Bayesian Link Between Generalisation and Flat Minima

Maxime Haddouche, Paul Viallard, Umut Simsekli, Benjamin Guedj

TL;DR现代机器学习通常涉及超参数设置（训练参数数量大于数据集大小），它们的训练结果不仅在训练数据上表现良好，而且具有良好的泛化能力。本文通过与 PAC-Bayes 工具箱相结合的 Poincaré 和 Log-Sobolev 不等式提供了新的包含梯度项的泛化界限，避免了对预测空间维度的明确依赖。我们的结果突出了 “平坦极小值” 对泛化性能的积极影响，直接涉及了优化阶段的益处。

Abstract

Modern machine learning usually involves predictors in the overparametrised setting (number of trained parameters greater than dataset size), and their training yield not only good performances on training data, but also good generalisation capacity. This phenomenon challenges many the

machine learning overparametrised setting generalisation bounds pac-bayes toolbox flat minima

发现论文，激发创造

标准化平坦极小值：使用 PAC-Bayesian 分析探索神经网络的尺度不变平坦极小值定义

该论文从 PAC-Bayesian 角度审视了关于平坦极小值的讨论，并引入了归一化的平坦极小值概念，该概念不受已知尺度依赖问题的影响，且可以提供更好的假设类层次结构。

Jan, 2019

深度网络可通过尖利极小化实现泛化

本文研究探讨深度学习的通用性，以及诸如损失函数的可行性等问题，并对深度网络中的对称性和参数空间等方面进行了分析。

Mar, 2017

熵梯度下降算法与宽平坦最小值

论文讨论了神经网络的经验风险景观的平坦极小值的特性，提出了增加最大平坦度算法，可以得到更好的分类效果。

Jun, 2020

通过最小化 PAC-Bayesian 广义化界限来学习高斯过程

该研究提出了一种使用 PAC-Bayesian 边界来直接优化 GPs 及其稀疏逼近的方法，相比于最大化边缘似然的常规方法，该方法具有更好的稳健性和泛化性能，并在多个回归基准数据集上获得了显着的泛化保证。

Oct, 2018

如何逃离尖锐的极小值

探讨了如何高效地找到近似的优化算法的平坦极值，提出了基于梯度和随机扰动的算法，在训练数据成本函数的情况下，提出了更快的算法。

May, 2023

PAC-Bayesian 理论应用于贝叶斯推理

展示了贝叶斯边际似然和频率 PAC-Bayesian 风险边界之间的联系；在最小化 PAC-Bayesian 广义化风险上推导了最大化贝叶斯边际似然；针对未约束损失函数提出了适用于亚伽马损失函数族的 PAC-Bayesian 定理，并在贝叶斯线性回归任务中表明其方法的有效性。

May, 2016

平坦极小值优化器何时有效？

通过比较基于平坦极小点优化器的损失曲面和在计算机视觉、自然语言处理和图表示学习任务的广泛基准测试中，我们发现了一些令人惊讶的发现，希望这能帮助研究人员进一步改进深度学习优化器，并帮助实践者为其问题选择正确的优化器。

Feb, 2022

渐进锐化、平坦最小值和泛化

我们提出了一种新的方法来理解深度学习中损失曲率和泛化之间的关系，特别地，我们使用深度网络损失 Hessian 频谱的现有经验分析来基于一个猜想将深度神经网络的损失 Hessian 和输入输出 Jacobian 联系在一起。我们证明了一系列理论结果，这些结果量化了模型的输入输出 Jacobian 在数据分布上近似其 Lipschitz 范数的程度，并在经验 Jacobian 的术语中推导出一个新的泛化界限。我们使用我们的猜想以及我们的理论结果来提供一个关于最近观察到的渐进锐化现象以及平坦极小值的泛化特性的新解释。我们提供了实验证据来验证我们的论点。

May, 2023

通过泛化噪音鲁棒性，确定性 PAC-Bayesian 深度网络泛化界

本文研究了过参数化的深层网络使用随机梯度下降法（SGD）能够良好推广的能力，提出了一种 PAC-Bayesian 框架，利用这种能力为原始网络提供界限，同时不会受到权重矩阵谱范数乘积的影响。

May, 2019

深度网络平坦极小值的独特特性

研究表明，随机梯度下降有一个偏好于平滑最小值的隐含偏差。本文研究发现，在具有二次损失的线性神经网络训练中，线性 ResNets 的零初始化必然收敛于所有最小值中最平滑的最小值，这些最小值对应着接近平衡网络。另外，相邻层的权重矩阵在平坦的极小值解中相互耦合，形成了从输入到输出的明显路径，该路径只用于体验端到端最大增益的信号。

Feb, 2020