该研究旨在探讨深度卷积神经网络中的各个特征的辨别力以及应用它们进行知识表示和推理的可能性，并通过统计学方法提供了新的见解和阈值方法来减少特征中的噪声。
Mar, 2017
本文提出基于梯度的特征及使用线性模型将梯度与预训练网络的激活函数相结合用于深度表示学习，从而实现预训练网络对不同任务的高效适应，通过实验验证了该算法在不同网络结构下，在多个数据集的各种表征学习任务上获得了强大的结果并与理论分析相符。
Apr, 2020
本文指出了中间神经表现添加了深度学习网络的灵活性并且在原始输入上具有优势，并阐述了与浅学习者，如卷积内核的神经表现的关系。通过学习低秩的多项式，中间神经表现可以实现比原始输入更少的样本复杂度，并且在神经可切内核的情况下，本文还提出了神经表现不利的限制。
Jun, 2020
本文研究了深度神经网络并使用表示群流的概念及信息论技巧，分析了其非线性模型的学习机制和有效模型复杂性及超参数等参数的归纳偏置。
Jun, 2021
本文探讨了使用概率模型分析神经表示的方法，揭示了深度残差网络对类别的拟合存在两种不同的分布模式，这种结构与训练样例的记忆化和对抗性鲁棒性的相关性有关，并通过比较神经表示的类别条件分布，揭示了类标签在网络结构中的出现位置。
Dec, 2022
本文研究了三层神经网络在特征学习方面的优势，证明了其比两层神经网络具有更丰富的特征学习能力，并提出了一个通用的定理，以限定实现低测试误差所需的样本复杂度和宽度。
May, 2023
研究使用新的神经网络架构和错误函数在图像分类任务中改进分类器准确性的影响，提出了优先采用在隐层中数据表征更具线性可分性的训练方法，通过实验证明该方法可行。
Jun, 2023
我们在深度神经网络的学习动态方面的理解仍然不完整。最近的研究开始揭示了这些网络的数学原理，包括“神经坍塌”现象，在训练的后期，DNN内的线性分类器会收敛到特定的几何结构。然而，几何约束在学习中的作用并不仅限于这个阶段。本文对DNN中的梯度秩进行了全面研究，研究了体系结构选择和数据结构对梯度秩界限的影响。我们的研究不仅有助于理解DNN中的学习动态，而且为深度学习工程师提供了实践指导，以便做出明智的设计决策。
Feb, 2024
通过揭示深度神经网络（DNNs）在训练过程中的演变，本文重点关注在过度参数化学习环境下，训练持续进行的情况，探讨了学习表示的演变以及层级之间的相似性和线性分类器探针的相似度等指标，并发现了与相对层级深度、DNN宽度和架构有关的训练动态模式。同时，对Vision Transformer进行了研究，展示了完美拟合阈值在编码器块中表示演变方面的转变。
May, 2024
本研究解决了深度神经网络在特征学习过程中的分析问题，提出了一种通过对前向特征图进行对角化的方法。研究发现，神经网络在训练过程中趋向于最小特征（MF）状态，该状态中的特征数量与类别数量相等，这一现象与神经崩溃现象类似，同时也探究了在不同网络架构和数据集上的表现差异。
Oct, 2024