使用边界分布预测深度网络中的泛化差距

ICLRSep, 2018

使用边界分布预测深度网络中的泛化差距

Predicting the Generalization Gap in Deep Networks with Margin Distributions

Yiding Jiang, Dilip Krishnan, Hossein Mobahi, Samy Bengio

TL;DR该论文研究发现，交叉熵等损失函数不能很好地预测深度神经网络的泛化能力，作者提出了一种基于边缘分布的测量方法，它可以被应用在任何架构的前馈深度网络上，并指出这个方法可能会提示新的训练损失函数的设计来实现更好的泛化。

Abstract

As shown in recent research, deep neural networks can perfectly fit randomly labeled data, but with very poor accuracy on held out data. This phenomenon indicates that loss functions such as cross-entropy are not a reliable indicator of generalization. This leads to the crucial question of how →

deep neural network generalization gap margin distribution training loss function feedforward deep network

发现论文，激发创造

深度神经网络中基于边界的泛化预测

在这项研究中，我们分析了在不同环境下基于边界距离的泛化预测方法，并提出了一种融合基础数据流形的新的基于边界距离的度量，该度量在大多数情况下能更好地预测泛化。同时，我们对这种方法的实用性和局限性进行了分析，并发现这个度量与之前的工作的观点是吻合的。

May, 2024

输入边界也能预测泛化

基于输入边界的约束边界测量被证明在深度神经网络的泛化能力预测上具有很高的竞争力，这为泛化和分类边界之间的关系提供了新的见解，并强调了在深度神经网络的泛化研究中考虑数据流形的重要性。

Aug, 2023

用于分类的大边际深度网络

本篇论文提出了一种新的损失函数，通过对深度神经网络中任意一组层（包括输入和隐藏层）的度量度量范数施加边缘来实现任意选择度量的边缘的深度网络。本文的损失具有较好的特性，适用于小训练集，分类和鲁棒性等任务，与现有数据扩增和正则化技术相辅相成。

Mar, 2018

分类边界的分布：所有数据是否平等？

通过对深度神经网络上梯度下降算法的实证研究发现，通过训练集中带宽分布曲线的曲线下面积来量化模型的泛化性能是更精确的方法，并且在加入批量规范化和权重衰减的情况下得到的训练点会收敛到同一个渐近边界，但其高容量特征并不一致。

Jul, 2021

寻求鲁棒的泛化测量方法

本文讨论了深度学习中的一项科学挑战，即解释归纳泛化问题，通过关注经验性评估方法，提出了将泛化度量评估纳入分布强健性框架的看法。

Oct, 2020

深度神经网络训练的不一致性、不稳定性和泛化差距

研究深度神经网络的泛化差距问题，发现模型不一致和不稳定性是影响泛化差距的关键因素，通过算法降低不一致性可以提高性能，并为现有方法（如协同蒸馏和集成学习）提供了理论基础。

May, 2023

深度网络中的泛化（IIIb 理论）

该论文研究了深度神经网络中过拟合的问题，证明了使用特定的损失函数时神经网络的收敛性及性能，提出了一种实用的判断不同零最小化点泛化性能的方法。

Jun, 2018

基于边界的多类别泛化界限与几何复杂度

通过对深度神经网络的一种复杂性度量，即几何复杂性，进行研究，我们提出了一种新的上界推导出的泛化误差，该泛化误差与网络的几何复杂性的边际归一化相关，并适用于广泛的数据分布和模型类。同时，我们对 ResNet-18 模型在 CIFAR-10 和 CIFAR-100 数据集上进行实验证明该广义化界是准确的。

May, 2024

训练更长时间，泛化更好：在神经网络的大批量训练中缩小泛化差距

该论文研究了大批量训练中的一般化差距现象，并提出一种名为 “Ghost Batch Normalization” 的新算法，可显著减少一般化差距而不增加权重更新数量。

May, 2017

图像分类中重新思考特征分布的损失函数

本研究提出了一种基于大边界高斯混合（L-GM）损失函数的深度神经网络分类方法，相较于常规的 softmax cross-entropy 损失函数，通过加入分类边界和似然正则化，提高了分类准确性以及对于训练特征分布的建模精度，可以用于区分异常输入如对抗性样本等。经过 MNIST、CIFAR、ImageNet 和 LFW 等基准测试和对抗性样本测试，证明了本方法的有效性。

Mar, 2018