本文通过随机矩阵理论和线性模型中的准确解，研究了使用梯度下降训练的大型神经网络的泛化动态，发现梯度下降学习的动态自然地保护了大型网络免受过度训练和过拟合的影响，当自由参数的有效数量等于样本数量时，网络过度训练最严重，大小的适当调整可以减少网络过度训练，另外，高维域下，低泛化误差需要从小的初始权重开始。此外，本文还发现了两个新的现象：在梯度下降过程中存在一个冻结的权重子空间，而高维状态的统计特性可保护免受过度训练的影响。

Oct, 2017

本研究通过对深度学习模型的多方面度量，特别是模型对输入扰动的敏感性度量，研究了大规模的、过度参数化的神经网络与小规模的夹杂网络的复杂度与泛化之间的紧张关系，并得出结论：训练的神经网络在其训练数据范围内更加鲁棒，这种鲁棒性与泛化能力有关联，而诸如数据扩增和修正线性单元等好的泛化因素会带来更强的鲁棒性。

Feb, 2018

本文探讨了神经网络架构的泛化能力，发现训练和泛化在整洁和结构化的数据集上很容易，在嘈杂和非结构化的数据集上则更难。通过使用“信息”空间和“噪声”空间，本文证明了即使是常数宽度的神经网络，对于足够好的数据集也可以证明泛化。

Jun, 2019

本研究介绍了一个多模式图像配准任务，并使用训练有素的神经网络来实现自动去噪，通过在相似输入示例的标签上进行的噪声平均效应来解释这一现象，并提出了相似度度量的定义和估计方法以进行新型的神经网络统计分析。

Feb, 2021

本文综述了神经网络模型不同抽象级别的概念、建模方法和最近的研究发现，包括网络模型的概括、分布、域、任务、模式和范围的泛化，着重于在各泛化层次上存在的问题，例如过拟合问题和域适应问题。

Sep, 2022

通过信息论分析深度学习及神经网络，研究在训练过程中神经网络获取的信息，提出了限制权值中标签噪声信息的学习算法，并提出了样本信息度量概念，探究了神经网络在非典型、模棱两可或属于代表性较弱群体的情况下的行为，导出了非平凡的泛化表现界限，并通过知识蒸馏研究，证明了数据和标签复杂度在泛化中的重要作用。该论文深入研究了神经网络的泛化机制，有益于更深层次地理解此领域的相关知识。

Jun, 2023

深度学习中的稳健泛化是一个重大挑战，特别是当可训练参数的数量非常大时。为了应对这一挑战，我们研究了一种可解释模型，通过分析理解广义表示，并从纪念表示中轻松区分出来。通过在模量算术任务上训练两层神经网络来研究该模型。我们证明：网络在记忆损坏标签及同时实现 100% 泛化的情况下是可能的；记忆神经元可以被识别和修剪，降低损坏数据的准确性，提高未损坏数据的准确性；正则化方法（如权重衰减、dropout 和 BatchNorm）会在优化过程中强制网络忽略损坏数据，在未损坏数据集上达到 100% 的准确性；并且这些正则化方法的效果是可以“机械解释”的：权重衰减和 dropout 强制所有神经元学习广义表示，而 BatchNorm 降低记念神经元的输出，并放大广义神经元的输出。最后，我们展示了在正则化的情况下，训练动态包含两个连续阶段：首先，在网络经历“领悟”动态过程中，达到高训练和测试准确性；第二，它通过将记忆表示逐渐抹除，从 100% 的训练准确性骤降到 100 (1-ξ)%。

Oct, 2023

提出了一种名为Shadow Loss的新型损失函数，通过在损失计算期间压缩嵌入空间的维度，从而在不损失性能的情况下克服了现有方法在内存限制下面临的挑战。该损失函数通过在紧凑投影空间上从输入中学习嵌入的投影之间的距离，这些距离直接对应于类相似性的度量。通过投影到低维投影空间，我们的损失函数收敛更快，并且所得到的分类图像聚类具有更高的类间距离和更小的类内距离。与现有技术Triplet Margin Loss相比，Shadow Loss不仅能降低嵌入维度以适应内存受限设备，还能在各种不同的数据集上稳定地表现出5%-10%的准确度提升。该提议的损失函数与模型无关，在多个经过测试的模型上表现良好。在平衡、不平衡、医学和非医学图像数据集上的有效性和鲁棒性表明，它不特定于特定的模型或数据集，而是始终表现出卓越的性能，并且使用更少的内存和计算资源。

Nov, 2023

评估深度学习模型在新颖数据上的泛化能力，通过对神经网络各层的性能评估，发现高分类准确性并不意味着高泛化能力，深层网络不总是最好的泛化模型，对模型不同层的泛化能力进行了探讨。

May, 2024

我们通过利用真实度量（目标函数）的特定结构，构建了一个近似真实度量的结构化深层ReLU神经网络，从而研究了度量和相似性学习的泛化性能，推导了度量和相似性学习问题的过度泛化误差界限，并通过仔细估计逼近误差和估计误差，得出了一个最佳的过度风险率，这是首次的度量和相似性学习的过度泛化错误分析，此外，我们还研究了具有一般损失的度量和相似性学习的真实度量的属性。

May, 2024