本篇论文提出了一种新的损失函数，通过对深度神经网络中任意一组层（包括输入和隐藏层）的度量度量范数施加边缘来实现任意选择度量的边缘的深度网络。本文的损失具有较好的特性，适用于小训练集，分类和鲁棒性等任务，与现有数据扩增和正则化技术相辅相成。
Mar, 2018
该论文研究发现，交叉熵等损失函数不能很好地预测深度神经网络的泛化能力，作者提出了一种基于边缘分布的测量方法，它可以被应用在任何架构的前馈深度网络上，并指出这个方法可能会提示新的训练损失函数的设计来实现更好的泛化。
Sep, 2018
通过研究多层前馈ReLU神经网络、交叉熵损失函数、核方法等工具，我们发现标准l2正则化器在实际应用中具有很大优越性，并且通过构造一个简单的d维数据集，我们证明了有正则化器的神经网络只需要O(d)的数据集就能训练成功，而对于无正则化器的NTK神经网络，则需要至少Omega(d^2)的数据才能训练成功。同时，我们还证明了无限宽度的两层神经网络能够通过有噪音的梯度下降优化正则化器，并且能够得到全局最优解。
Oct, 2018
本研究通过分析深度神经网络的梯度下降技术实现，提出了控制网络复杂度的隐含规范化方法，并将其归纳为梯度下降算法的内在偏差，说明这种方法可以解决深度学习中过拟合的问题。
Mar, 2019
研究了梯度下降算法在同质神经网络中的隐式正则化，重点研究了 optimizing the logistic loss or cross-entropy loss of any homogeneous model，探讨了规范化边缘的平滑版本，形成了一个关于边缘最大化的优化问题，给出了算法的渐进性能， 并讨论了通过训练提高模型鲁棒性的潜在好处。
Jun, 2019
该论文提出了一种新的边界概念--全层边界，用于深度学习模型的边界分析，从而获得更紧密的泛化边界，并给出了一种用于提高全层边界的理论指导的训练算法。
Oct, 2019
本文研究了Leaky ReLU神经网络的全局最优性，证明了线性可分对称数据上的梯度流算法能够收敛于全局最优的“max-margin”解，同时还对梯度下降在训练初期的“简单度偏向”现象进行了理论解释。
Oct, 2021
基于输入边界的约束边界测量被证明在深度神经网络的泛化能力预测上具有很高的竞争力，这为泛化和分类边界之间的关系提供了新的见解，并强调了在深度神经网络的泛化研究中考虑数据流形的重要性。
Aug, 2023
在这项研究中，我们分析了在不同环境下基于边界距离的泛化预测方法，并提出了一种融合基础数据流形的新的基于边界距离的度量，该度量在大多数情况下能更好地预测泛化。同时，我们对这种方法的实用性和局限性进行了分析，并发现这个度量与之前的工作的观点是吻合的。
May, 2024
这篇论文介绍了一种在深度学习背景下具有较大边界的新型判别性损失函数，通过提高神经网络的判别能力，即类内紧凑性和类间可分性，来优化特征空间，同时通过数学分析关系、设计策略和研究泛化误差，提高模型的测试准确性。