本论文提出了最大间隔深度生成模型（mmDGMs），它利用最大间隔学习原理来提高深度生成模型的辨别力，同时保留了生成能力。实验结果表明，最大间隔学习可以显著提高深度生成模型的预测性能，同时保留生成能力。同时，通过使用深度卷积神经网络作为识别和生成模型，mmDGM在MNIST和SVHN数据集上的表现与最先进的完全辨别网络相当竞争力。

Apr, 2015

本篇论文提出了一种新的损失函数，通过对深度神经网络中任意一组层（包括输入和隐藏层）的度量度量范数施加边缘来实现任意选择度量的边缘的深度网络。本文的损失具有较好的特性，适用于小训练集，分类和鲁棒性等任务，与现有数据扩增和正则化技术相辅相成。

Mar, 2018

该论文研究发现，交叉熵等损失函数不能很好地预测深度神经网络的泛化能力，作者提出了一种基于边缘分布的测量方法，它可以被应用在任何架构的前馈深度网络上，并指出这个方法可能会提示新的训练损失函数的设计来实现更好的泛化。

Sep, 2018

通过研究多层前馈ReLU神经网络、交叉熵损失函数、核方法等工具，我们发现标准l2正则化器在实际应用中具有很大优越性，并且通过构造一个简单的d维数据集，我们证明了有正则化器的神经网络只需要O(d)的数据集就能训练成功，而对于无正则化器的NTK神经网络，则需要至少Omega(d^2)的数据才能训练成功。同时，我们还证明了无限宽度的两层神经网络能够通过有噪音的梯度下降优化正则化器，并且能够得到全局最优解。

Oct, 2018

该论文提出了一种新的边界概念--全层边界，用于深度学习模型的边界分析，从而获得更紧密的泛化边界，并给出了一种用于提高全层边界的理论指导的训练算法。

Oct, 2019

通过对深度神经网络上梯度下降算法的实证研究发现，通过训练集中带宽分布曲线的曲线下面积来量化模型的泛化性能是更精确的方法，并且在加入批量规范化和权重衰减的情况下得到的训练点会收敛到同一个渐近边界，但其高容量特征并不一致。

Jul, 2021

本文探讨了利用输入和最终层表示之间的互信息来估算深度神经网络广义误差，并使用输入压缩边界将互信息和广义误差联系起来，证明其在许多情况下表现优异，有助于消除试错的过程。

Jul, 2022

该研究论文介绍了深度神经网络的误差界限、基于可伸缩子抽样的估计器以及基于该估计器构建的置信区间和预测区间。这些方法在计算效率、点估计/预测准确性和实用的置信区间和预测区间等方面都具有很好的性能。

May, 2024

在这项研究中，我们分析了在不同环境下基于边界距离的泛化预测方法，并提出了一种融合基础数据流形的新的基于边界距离的度量，该度量在大多数情况下能更好地预测泛化。同时，我们对这种方法的实用性和局限性进行了分析，并发现这个度量与之前的工作的观点是吻合的。

May, 2024

通过对深度神经网络的一种复杂性度量，即几何复杂性，进行研究，我们提出了一种新的上界推导出的泛化误差，该泛化误差与网络的几何复杂性的边际归一化相关，并适用于广泛的数据分布和模型类。同时，我们对ResNet-18模型在CIFAR-10和CIFAR-100数据集上进行实验证明该广义化界是准确的。

May, 2024