Sep, 2022

具有连接切线核的尺度不变贝叶斯神经网络

PDF
TL;DR该研究提出了基于参数缩放的先验分布与后验分布的不变性解决神经网络中泛化与可靠性问题，避免了参数总体规模变化对网络泛化性能的影响，从而提高了 Laplace 对数似然近似算法的不确定性校准效果。
neural networksflatnessgeneralization boundsparameter scalinglaplace approximation
发现论文，激发创造
  • 神经网络中从损失平坦性到压缩表示的简单连接

    深度神经网络的泛化能力在参数空间的损失景观形状和特征空间（即单位活动的空间）的表示流形结构两个不同的方法中已经被研究，但很少一起研究并显式连接。我们提出了一个简单的分析，建立了它们之间的联系，并展示了表明在深度神经网络的学习的最后阶段，神经表示流形的体积压缩与参数优化过程中所探索的最小值周围的损失的平坦性相关的结果。

    Oct, 2023

  • 通过泛化噪音鲁棒性，确定性 PAC-Bayesian 深度网络泛化界

    本文研究了过参数化的深层网络使用随机梯度下降法（SGD）能够良好推广的能力，提出了一种 PAC-Bayesian 框架，利用这种能力为原始网络提供界限，同时不会受到权重矩阵谱范数乘积的影响。

    May, 2019

  • 标准化平坦极小值：使用 PAC-Bayesian 分析探索神经网络的尺度不变平坦极小值定义

    该论文从 PAC-Bayesian 角度审视了关于平坦极小值的讨论，并引入了归一化的平坦极小值概念，该概念不受已知尺度依赖问题的影响，且可以提供更好的假设类层次结构。

    Jan, 2019

  • 相对平坦性和泛化

    本文研究了损失曲线的平直性与机器学习模型的泛化能力之间的联系，通过推导出代表性数据的概念，并提出新的相对平直性的度量方法，解决了薄板回归等复杂度量方法所带来的重新参数化的问题。

    Jan, 2020

  • 共享权重的宽神经网络的缩放极限：高斯过程行为、梯度独立性和神经切向核导出

    本研究结合随机神经网络和张量程序的概念，研究了神经网络的收敛性和梯度动态性，在多种不同体系下，从而表明了该框架不仅可以引导更强的高斯过程的设计，而且还可以深入理解现代架构中的 SGD 动态。

    Feb, 2019

  • （深层）线性神经网络中的权重波动与逆方差平坦关系的推导

    我们研究了合成高斯数据中单层和双层线性神经网络在随机梯度下降（SGD）的持续（末期）训练阶段。我们发现，在过度采样不足的弱过采样范围内，单层网络的噪声协方差矩阵的谱明显偏离 Hessian，可归因于 SGD 动力学的详细平衡破坏。在这种情况下，权重波动一般是各向异性的，但经历各向同性的损失。对于双层网络，我们获得了各层权重的随机动力学，并分析了相关的稳定的协方差。我们将层间耦合确定为权重波动的新源头。与单层情况不同，权重波动经历了各向异性的损失，其平坦度与波动方差成反比。因此，我们在深度线性网络模型中提供了最近观察到的逆方差 - 平坦度关系的分析推导。

    Nov, 2023

  • 近似贝叶斯推断中的重参化不变性

    Bayesian 神经网络的近似后验在重新参数化下保持不变的问题被证明在线性化拉普拉斯近似中得到缓解。通过发展一种新的几何观点来解释线性化的成功，并利用 Riemann 扩散过程将这些重新参数化不变性扩展到原始神经网络预测，从而提出了一种简单的近似后验抽样算法，从而在实证中提高了后验拟合。

    Jun, 2024

  • 广义拉普拉斯近似

    Bayesian 深度学习的不一致性引起了越来越多的关注，温度调节或广义后验分布通常提供了解决这个问题的直接有效方法。本研究引入了一个统一的理论框架，将 Bayesian 不一致性归因于模型规范不当和先验不足，提出了广义 Laplace 近似方法来获得高质量的后验分布。

    May, 2024

  • BN 不变量锐化正则化训练模型以获得更好的泛化能力

    本文提出了一种与 BN 层等价的神经网络下具有一致性的、刻画了梯度的度量标准和对应的优化算法，该算法利用该标准对训练进行正则化，获得了与原始 SGD 相比较显著的性能提升。

    Jan, 2021

  • 贝叶斯神经网络后验中的排列对称性：变分视角

    通过对近似贝叶斯神经网络（BNNs）的分析，扩展了边界损失和解决方案插值的形式，并提出了一种匹配算法来寻找线性连接的解决方案。实验证明，在各种体系结构和数据集上，线性连接的解决方案几乎没有边界损失。

    Oct, 2023