基于输入边界的约束边界测量被证明在深度神经网络的泛化能力预测上具有很高的竞争力,这为泛化和分类边界之间的关系提供了新的见解,并强调了在深度神经网络的泛化研究中考虑数据流形的重要性。
Aug, 2023
该论文研究发现,交叉熵等损失函数不能很好地预测深度神经网络的泛化能力,作者提出了一种基于边缘分布的测量方法,它可以被应用在任何架构的前馈深度网络上,并指出这个方法可能会提示新的训练损失函数的设计来实现更好的泛化。
Sep, 2018
从神经科学理论的角度解释深度神经网络的泛化能力,提供可自主计算的复杂度度量方法以揭示深度模型的泛化行为,并详细介绍在 NeurIPS 2020 举办的预测深度学习泛化比赛中获胜的解决方案。
Dec, 2020
通过对深度神经网络的一种复杂性度量,即几何复杂性,进行研究,我们提出了一种新的上界推导出的泛化误差,该泛化误差与网络的几何复杂性的边际归一化相关,并适用于广泛的数据分布和模型类。同时,我们对 ResNet-18 模型在 CIFAR-10 和 CIFAR-100 数据集上进行实验证明该广义化界是准确的。
May, 2024
本文讨论了深度学习中的一项科学挑战,即解释归纳泛化问题,通过关注经验性评估方法,提出了将泛化度量评估纳入分布强健性框架的看法。
Oct, 2020
本篇论文提出了一种新的损失函数,通过对深度神经网络中任意一组层(包括输入和隐藏层)的度量度量范数施加边缘来实现任意选择度量的边缘的深度网络。本文的损失具有较好的特性,适用于小训练集,分类和鲁棒性等任务,与现有数据扩增和正则化技术相辅相成。
Mar, 2018
深度学习中的泛化是一个重要的问题,并且通过复杂度衡量的新进展有望更好地理解深度学习的机制,更好地应用于对未知数据的泛化,并提高模型的可靠性和鲁棒性。
该论文提出了一种新的边界概念 -- 全层边界,用于深度学习模型的边界分析,从而获得更紧密的泛化边界,并给出了一种用于提高全层边界的理论指导的训练算法。
Oct, 2019
通过对深度神经网络上梯度下降算法的实证研究发现,通过训练集中带宽分布曲线的曲线下面积来量化模型的泛化性能是更精确的方法,并且在加入批量规范化和权重衰减的情况下得到的训练点会收敛到同一个渐近边界,但其高容量特征并不一致。
Jul, 2021
本文旨在探索深度神经网络泛化度量的可检测性,评估和比较探测单独层的泛化度量的有效性和鲁棒性。同时,我们介绍了一套新的训练模型和性能度量数据集 GenProb,用于测试泛化度量,模型调优算法和优化算法。
Oct, 2021