Jan, 2019

标准化平坦极小值：使用 PAC-Bayesian 分析探索神经网络的尺度不变平坦极小值定义

PDF
TL;DR该论文从 PAC-Bayesian 角度审视了关于平坦极小值的讨论，并引入了归一化的平坦极小值概念，该概念不受已知尺度依赖问题的影响，且可以提供更好的假设类层次结构。
flat minimadeep learninggeneralizationpac-bayesianmatrix-norm
发现论文，激发创造
  • 泛化与平坦极小之间的 PAC-Bayesian 联系

    现代机器学习通常涉及超参数设置（训练参数数量大于数据集大小），它们的训练结果不仅在训练数据上表现良好，而且具有良好的泛化能力。本文通过与 PAC-Bayes 工具箱相结合的 Poincaré 和 Log-Sobolev 不等式提供了新的包含梯度项的泛化界限，避免了对预测空间维度的明确依赖。我们的结果突出了 “平坦极小值” 对泛化性能的积极影响，直接涉及了优化阶段的益处。

    Feb, 2024

  • 深度网络极小值的尺度不变平坦度量

    通过提出基于海森矩阵的浅度测量，在深度网络训练中检验了大批量 SGD 最小值确实比小批量 SGD 最小值更锐利，并且我们证明了正同态激活的深度网络的等价关系在参数空间中的商流形结构，并提出了一种具有等价不变性的测量平坦度的方法。

    Feb, 2019

  • 深度网络平坦极小值的独特特性

    研究表明，随机梯度下降有一个偏好于平滑最小值的隐含偏差。 本文研究发现，在具有二次损失的线性神经网络训练中，线性 ResNets 的零初始化必然收敛于所有最小值中最平滑的最小值，这些最小值对应着接近平衡网络。另外，相邻层的权重矩阵在平坦的极小值解中相互耦合，形成了从输入到输出的明显路径，该路径只用于体验端到端最大增益的信号。

    Feb, 2020

  • 熵梯度下降算法与宽平坦最小值

    论文讨论了神经网络的经验风险景观的平坦极小值的特性，提出了增加最大平坦度算法，可以得到更好的分类效果。

    Jun, 2020

  • 具有连接切线核的尺度不变贝叶斯神经网络

    该研究提出了基于参数缩放的先验分布与后验分布的不变性解决神经网络中泛化与可靠性问题，避免了参数总体规模变化对网络泛化性能的影响，从而提高了 Laplace 对数似然近似算法的不确定性校准效果。

    Sep, 2022

  • 相对平坦度感知的最小化（FAM）

    通过引入一种相对平坦度度量方法，本研究提出一种新的正则化器，该正则化器易于计算、快速高效，适用于各种损失函数，可以在单层网络上计算海森矩阵，提高模型的泛化性能，有效避免了损失曲面映射的昂贵代价。

    Jul, 2023

  • 深度网络可通过尖利极小化实现泛化

    本文研究探讨深度学习的通用性，以及诸如损失函数的可行性等问题，并对深度网络中的对称性和参数空间等方面进行了分析。

    Mar, 2017

  • 通过泛化噪音鲁棒性，确定性 PAC-Bayesian 深度网络泛化界

    本文研究了过参数化的深层网络使用随机梯度下降法（SGD）能够良好推广的能力，提出了一种 PAC-Bayesian 框架，利用这种能力为原始网络提供界限，同时不会受到权重矩阵谱范数乘积的影响。

    May, 2019

  • 平坦极小值优化器何时有效？

    通过比较基于平坦极小点优化器的损失曲面和在计算机视觉、自然语言处理和图表示学习任务的广泛基准测试中，我们发现了一些令人惊讶的发现，希望这能帮助研究人员进一步改进深度学习优化器，并帮助实践者为其问题选择正确的优化器。

    Feb, 2022

  • 尖锐度最小化算法不仅仅通过最小化尖锐度来达到更好泛化

    尽管进行了广泛的研究，但超参数化神经网络为何能够泛化的根本原因仍然不清楚。本研究通过理论和实证研究指出，对于两层 ReLU 网络，（1）平坦确实意味着泛化；（2）存在不泛化的最平坦模型，锐度最小化算法无法泛化；（3）最令人惊讶的是，存在不泛化的最平坦模型，但锐度最小化算法仍然可以泛化。我们的结果表明，锐度与泛化之间的关系微妙地依赖于数据分布和模型架构，锐度最小化算法不仅通过最小化锐度来实现更好的泛化。这需要寻找超参数化神经网络泛化的其他解释。

    Jul, 2023