overparameterized neural networks | BriefGPT

关键词overparameterized neural networks

搜索结果 - 11

关于分形维数作为泛化度量的局限性
深度学习中超参数化神经网络的泛化缺口、分形维度、持续同调维度、模型的双下降等方面进行了广泛的研究评估，通过观察发现，残差参数向量的 L2 范数与泛化缺口之间有更强的相关性。该研究为进一步探索分形几何、拓扑数据分析和神经网络优化之间的因果关系
PDFa month ago
尖锐度最小化算法不仅仅通过最小化尖锐度来达到更好泛化
尽管进行了广泛的研究，但超参数化神经网络为何能够泛化的根本原因仍然不清楚。本研究通过理论和实证研究指出，对于两层 ReLU 网络，（1）平坦确实意味着泛化；（2）存在不泛化的最平坦模型，锐度最小化算法无法泛化；（3）最令人惊讶的是，存在不泛
PDFa year ago
ICLR重要性加权是否与插值分类器不兼容？
通过理论证明和神经网络实验，我们发现针对过参数化神经网络，经典的重要性加权技术在指数形式的损失函数下失效，但在多项式形式的损失函数下可恢复，最终提出的经过加权的多项式损失函数在修正分布偏移方面的性能要优于通常的加权交叉熵损失函数，并能取得超
PDF3 years ago
ICLR像素蝴蝶：稀疏训练神经网络模型的简单高效方法
该研究提出了一种名为 Pixelated Butterfly 的稀疏模型训练方法，通过优化连续超集上的蝶式矩阵，采用简单的蝶式块和低秩矩阵稀疏化网络层，使训练速度提高 3 倍，并在 ImageNet 分类和 WikiText-103 语言建
PDF3 years ago
ICML超参数神经网络中的损失景观几何：对称性和不变性
本文通过组合分析的方式，对超参数化神经网络中对称引起的关键点进行了探讨，发现这些关键点生成的正则流形在 mildly overparameterized regime 时占优，但是当 vastly overparameterized reg
PDF3 years ago
神经切向核调节下随机梯度下降平均最优收敛速度
本文通过利用目标函数和 NTK 相关的函数空间的特殊属性，证明了平均随机梯度下降方法在 NTK 极限下能够取得最小极小化误差率，并利用 ReLU 网络的平滑逼近，使得可以在最优极小化误差率下学习 NTK 指定的目标函数。
PDF4 years ago
初始化时的鲁棒剪枝
深度神经网络修剪方法的全面理论分析及其在各种网络架构上的实验验证。
PDF4 years ago
面向群体转移的分布式鲁棒神经网络：正则化对最坏情况泛化的重要性
本研究发现，对过度参数化的神经网络直接应用分组分布式稳健优化（DRO）不起作用；相反，需要使用强化正则化或提前停止来提高最坏组的准确性，这表明对于过度参数化的情况下的 “最坏组” 泛化，正则化是必不可少的。
PDF5 years ago
有界范数无限宽度 ReLU 网络的函数空间视角：多元情况
本文研究了无限宽度的单隐藏层 ReLU 网络实现函数 f：R^d->R 的范数，其中权重的欧几里德范数是有界的，包括确定可实现有限范数的函数。此外，本文将一维函数的 L1 范数的二阶导数与多元函数的 Radon 变换的 L1 范数相关联，并
PDF5 years ago
蒸馏 ≈ 提前停止？利用各向异性信息检索收获深度知识对超参数化的神经网络
本文提出了一种新的理论来解释为什么 depth distillation 的标准实践阻碍了深度神经网络的学习，并提出了一种名为 “self-distillation” 的方法，以在先前的训练时期中从网络中分步提取知识，以避免记忆错误标签，最
PDF5 years ago
超参数神经网络的损失景观
本文研究过参数神经网络的损失函数的数学特性，证明了当神经网络的参数数目大于数据点数目时，全局最小值点的集合通常是一个高维子流形。
PDF6 years ago