Sep, 2023

奇妙的概括度量无处追寻

PDF
TL;DR神经网络在超参数化设置中的泛化界限无法达到紧致性，除非在总体分布上具备合适的假设。
发现论文，激发创造
  • 寻求鲁棒的泛化测量方法

    本文讨论了深度学习中的一项科学挑战，即解释归纳泛化问题，通过关注经验性评估方法，提出了将泛化度量评估纳入分布强健性框架的看法。

    Oct, 2020

  • 探究过度参数化在神经网络泛化中的作用

    本研究提出了基于单元能力的复杂度度量，为两层 ReLU 网络提供了更紧密的泛化界限，这可能有助于解释神经网络过参数化的泛化改进现象。同时，我们还提出了一个匹配的 Rademacher 复杂性下限，该下限优于之前神经网络的容量下限。

    May, 2018

  • 均匀收敛可能无法解释深度学习中的泛化

    通过实验结果，揭示了现存深度学习的多种基于均匀收敛理论的泛化界都是数值较大，因而引起了人们的质疑。而对于使用 GD 训练的超参数线性分类器和神经网络，即使我们考虑 GD 的隐式偏差，两边的均匀收敛都无法解释泛化，使得基于均匀收敛的泛化界失去了其解释能力。

    Feb, 2019

  • 计算具有非平凡泛化界的深度（随机）神经网络，其参数数量远多于训练数据

    通过优化 PAC-Bayes 边界，我们能够计算深度随机神经网络分类器的数量较小、训练示例数量唯有数万个的保真度上限，并将我们的发现与近期以及早期的扁平最小值和基于 MDL 的泛化解释联系起来。

    Mar, 2017

  • 因果回归的泛化界限：见解、保证和敏感性分析

    基于泛化界限的理论，我们提出了一种基于改变度量不等式的全新方法，能够紧密地将模型损失与人口中治疗倾向的偏差联系起来，并证明其在有限样本上的有效性，即使在隐性混杂因素和阳性违反的情况下也能成立。我们在半合成和实际数据上验证了我们的界限，展示了其出色的紧密性和实际效用。

    May, 2024

  • 深度学习的泛化界限

    本研究提出了关于深度学习的泛化误差的准则，介绍了一种基于边际似然的 PAC-Bayesian Bound 方法来预测泛化误差，并进行了广泛实证分析以评估该方法的效果和特性。

    Dec, 2020

  • 神奇的泛化度量及其发现方法

    通过系统地变化常用超参数来训练超过 10,000 个卷积网络，我们提出了深度网络推广的第一个大规模研究，并研究了来自理论界和经验研究的 40 多种复杂度衡量标准，探索每种衡量标准和推广之间的因果关系，并通过仔细控制的实验展示了一些衡量标准的惊人失败，以及进一步研究的有希望的衡量标准。

    Dec, 2019

  • 过参数化神经网络的一致泛化界

    本文介绍了神经网络中过度参数化情况下的泛化误差及其相关的新理论，即神经切向核理论，通过该理论的信息获取量计算出学习问题的复杂度并证明了泛化误差的上界，同时讨论了该理论对于强化学习领域的应用。

    Sep, 2021

  • 基于互信息的泛化误差界限的紧缩

    利用信息论推导出监督学习算法的泛化误差的信息熵上界，能够更全面地考虑损失函数的条件，并且在应用于嘈杂和迭代算法时能够给出比现有结果更紧密的泛化误差表征。

    Jan, 2019

  • 基于边界的多类别泛化界限与几何复杂度

    通过对深度神经网络的一种复杂性度量，即几何复杂性，进行研究，我们提出了一种新的上界推导出的泛化误差，该泛化误差与网络的几何复杂性的边际归一化相关，并适用于广泛的数据分布和模型类。同时，我们对 ResNet-18 模型在 CIFAR-10 和 CIFAR-100 数据集上进行实验证明该广义化界是准确的。

    May, 2024