该研究通过系统实验和理论构建发现，传统方法很难解释为什么大型神经网络的泛化性能良好，即使加入正则化仍然不会改变随机标记训练数据的状态，因为只要参数数量超过数据点数量，简单的两层神经网络就能实现完美的有限样本表达能力。

Nov, 2016

本文介绍了一种超越当前流行的最坏情况的理论控制框架，重新审视神经网络的统计力学的古老理论，并使用一个名为VSDL的模型来描述当算法过早停止或输入加噪声时会增加的温度和减少的数据量对深度神经网络的控制效果，进而提供了关于其过度拟合训练数据、学习算法波动和转变的一种新的定性描述。

Oct, 2017

本文挑战了使用强大的teacher model教授弱student model的共识，详细阐述了KD和label smoothing regularization之间的关系，提出了Teacher-free Knowledge Distillation（Tf-KD）框架，通过自学和手动设计正则化分布，实现了与正常KD相媲美的性能。

Sep, 2019

本文探讨了如何在不增加过多数据注释的情况下，利用自监督学习来实现领域泛化和适应性，结果表明该方法在三种不同的情景下有效。

Oct, 2019

本文研究深度神经网络的正则化机制，提出其通过提取类别样本的有意义聚类来实现隐含的正则化，证明这种聚类测度可以准确预测不同超参变化下的泛化性能。

Mar, 2021

该论文探讨了基于特征的学生-教师学习方法的理论解析和实证研究，在深度神经网络中鉴别出对于学生网络成功的三个关键因素，即学生网络是否训练至零误差、教师网络对于原始输入问题的知识水平、以及教师网络如何将其知识分解到其隐藏特征中。

Mar, 2021

本文综述了神经网络模型不同抽象级别的概念、建模方法和最近的研究发现，包括网络模型的概括、分布、域、任务、模式和范围的泛化，着重于在各泛化层次上存在的问题，例如过拟合问题和域适应问题。

Sep, 2022

从交互概念的角度解释深度神经网络的泛化能力，定义交互概念的复杂性，发现简单概念可以更好地推广到测试数据，研究发现学习复杂概念的绕道动态解释了复杂概念的高学习难度和低泛化能力。

Feb, 2023

研究了两层神经网络中过参数化对学生-教师框架的影响，发现只有当学生的隐藏层数量指数级大于输入维度时，才能达到完美的泛化。同时计算了其渐进的泛化误差。

Mar, 2023

通过信息论分析深度学习及神经网络，研究在训练过程中神经网络获取的信息，提出了限制权值中标签噪声信息的学习算法，并提出了样本信息度量概念，探究了神经网络在非典型、模棱两可或属于代表性较弱群体的情况下的行为，导出了非平凡的泛化表现界限，并通过知识蒸馏研究，证明了数据和标签复杂度在泛化中的重要作用。该论文深入研究了神经网络的泛化机制，有益于更深层次地理解此领域的相关知识。

Jun, 2023