本文旨在量化特征提取和泛化中深度与特征之间的对应关系，通过展示提取单一特征和复合特征的深度 - 参数权衡表明特征对深度的适应性和相反情况，并证明在深度网络上实现经典的经验风险最小化可实现多种学习任务的最优泛化性能，其理论结果通过一系列数字实验进行了验证。

Apr, 2020

该论文提出了一种通过消除冗余特征（或滤波器）来修剪深度和 / 或宽度卷积神经网络模型的高效技术，其依据特征空间中的相对余弦距离区分它们和它们的连接特征映射并优化精度和推理性能，但优化后的算法能将 VGG-16 的推理成本降低 40％、ResNet-56 的推理成本降低 27％、ResNet-110 的推理成本减少 39％。

Feb, 2018

该研究旨在探讨深度卷积神经网络中的各个特征的辨别力以及应用它们进行知识表示和推理的可能性，并通过统计学方法提供了新的见解和阈值方法来减少特征中的噪声。

Mar, 2017

本文提出了一种新的方法，用于可视化和理解神经网络输出层之前的向量空间，旨在揭示分类任务下的深层特征向量属性，特别是过拟合现象在特征空间中的本质和其对进一步应用的负面影响，并对其进行了真实应用场景的评估，证明了其突出性能优势。

Jun, 2020

本文考察卷积神经网络中层数、特征图数量和参数数量对模型性能的影响，结果表明，增加层数和参数数量都有明显改善，而特征图数量（和表示的维度）对模型性能影响较小，更应关注这些层中的参数数量。

Dec, 2013

我们提出了一种基于神经切向核函数（NTKs）的理论方法来研究神经网络在捕捉精确知识方面的潜在机制，并发现激活函数的选择会影响特征提取，此外我们还发现自注意力模型和 CNN 模型在学习 n 元语法方面的局限性，而基于乘法的模型则在该领域表现出色。我们的研究提供了对大型语言模型基本组件在角色和能力方面的深入理解，从而推动对这些复杂系统的更广泛理解。

Oct, 2023

本文提出了利用冗余性展示卷积神经网络性能稳定性的机制和利用单位脉冲响应理解反应的冗余性的方法，并提供了在几个网络上展示冗余性的示例，这些技术可以更好地理解卷积神经网络的内部动态。

Jun, 2019

超参数化是深度学习成功的关键因素之一，本研究通过比较不同宽度的模型的特征来探讨过参数化网络的特点，发现无论是过参数化还是欠参数化的网络都具有一些独特的特征，而过参数化网络在性能方面优于欠参数化网络，即使许多欠参数化特征被连接。在 CIFAR-10 和 MNLI 分类数据集上使用 VGG-16、ResNet18 和 Transformer 进行验证，并通过一个玩具场景证明了过参数化网络可以学习一些欠参数化网络无法学习的重要特征。

Jul, 2024

该研究表明，在过参数化的深度神经网络中，解耦特征提取层和分类层的训练能显著改善模型校准性，同时保持准确性且训练成本低，并且在分类训练阶段对 DNN 的最后隐藏层输出加入高斯先验进一步提升校准性。

May, 2024

通过对深度神经网络的局部解释方法进行研究，发现具有随机初始化权重的 DNN 与具有学习权重的 DNN 的解释在视觉和数量上都很相似，可能是因为较低层次的特征被 DNN 的结构所主导，这对学习到的表示具有极大的影响。

Oct, 2018