- 关于逐层表示相似性的研究：用于具有单个分类器的多出口模型的应用
我们研究了 transformer 模型中隐藏层之间的表示相似性，并展示了一个简单的样本级余弦相似度度量能够捕捉到这种相似性，并与复杂的统计方法 CCA 一致，通过提出对齐训练方法，我们增强了内部表示之间的相似性，并得到了具有多个隐藏层输出 - 关于激活规则的 GNN 可解释性研究
GNNs 利用节点表示学习构建的强大模型在与图相关的许多机器学习问题中表现出色，但其部署的主要障碍在于社会可接受性和可信度问题，我们提出了通过挖掘隐藏层的激活规则来理解 GNN 对世界的感知，以解决这一问题，并介绍了主观激活模式领域。通过信 - 一种通用逼近定理的初等证明
本研究通过三个隐藏层和不断增强、连续、有界激活函数的神经网络提供了一种简单的方法来证明一种通用逼近定理。此结果相对于最佳结果较弱，但证明过程只使用了本科分析学的基础知识。
- 可视化和绘制 GAN 激活
我们研究了 GAN 生成的结构与它们在隐藏层中的激活之间的相关性，目的是更好地理解这些模型的内在机制，并能够使用无条件训练的 GAN 绘制结构。这使我们能够更好地控制生成的图像，可以根据语义分割图生成它们，而不需要在训练数据中包含该分割。为 - 深度卷积神经网络的鲁棒性建模的系统方法
卷积神经网络在大量标记数据可用时表现出广泛的适用性，然而近期的研究为更大规模的模型是否能够推广到受控训练和测试集之外的数据提出了质疑。本文研究了 ResNet 模型中隐藏层数量对 MNIST、CIFAR10 和 CIFAR100 数据集的影 - 学习正交深度线性神经网络的收敛分析
通过对正交性进行收敛性分析，揭示了正交性对训练深度神经网络的收敛速度的影响，并通过实验证实了理论分析的有效性。
- 深度 Rigdelet 变换：声音通过 Koopman 算子证明形式深度网络的普遍性
我们通过对数据空间上的群作用来确定 DNN 中的隐藏层，并将 DNN 形式化为与 Koopman 算子相关的双声音转换。基于群论论证，特别是使用 Schur 引理，我们对这些 DNN 的普适性进行了简单的证明。
- 深度学习网络的几何结构和全局 L^2 最小化器的构建
用几何方法解释了 Deep Learning（DL）网络的结构，包括 L 个隐藏层、坡度激活函数、L2 Schatten 类（或 Hilbert-Schmidt）成本函数以及相等维度的输入输出空间 R^Q。隐藏层在空间 R^Q 上定义，并且 - 分类神经网络中的中间隐藏层神经失调
分类神经网络的中间隐藏层中出现一定程度的神经崩溃，而崩溃的程度通常与该层的深度正相关。此外，浅层网络主要减少样本内类别方差，类之间的角度分离随着隐藏层深度的增加而增加。实验结果提供了有关特征在分类神经网络中结构传播的细粒度洞察。
- 具有线性阈值激活函数的神经网络：结构与算法
本文研究了使用线性阈值激活函数的神经网络，探究了这种类型的函数可以被表示的范围，证明了用两层隐藏层可以表示任何在这个范围内的函数。同时提出了一种算法，用于解决这种类型神经网络的经验风险最小化问题，可以在多项式时间内进行。基于这些研究发现，我 - 利用逐层自编码器进行敌对样本检测与分析
本研究提出了一种基于目标网络隐藏层数据表示的机制来检测对抗性样本，该机制训练了目标网络中间层的单独的自编码器，可以描述真实数据的流形，从而判断一个给定的例子是否具有与真实数据相同的特征，并探究对抗性样本在深度神经网络层中的行为。实验结果表明 - EMNLP卷积文本图分类器中的逐层关联可视化
本研究提出了一种新颖的方法，在可见层和隐藏层中追踪和可视化有贡献的特征，以解释 GCN 句子分类器的决策，并揭示了输入图结构中的隐藏跨层动态。
- 通过对抗性噪声传播训练强大的深度神经网络
本篇论文提出了一种名为 Adversarial Noise Propagation 的训练算法，将噪声注入隐藏层以提高深度模型的鲁棒性，并证明不同的隐藏层对模型鲁棒性和整洁的准确性有不同的贡献。该算法可有效地与其他对抗性训练方法相结合，进一 - 通过 Lipschitz 增强评估深度神经网络的数据相关样本复杂度
通过考虑网络的额外数据相关属性，如隐藏层的范数和每层相对于之前所有层的雅可比矩阵的范数，我们获得了更紧的基于 Rademacher 复杂度的界限。在实践中，我们直接通过规范化网络的雅可比矩阵来改善测试性能。
- MM使用神经网络算法研究和观察手写数字识别在不同隐藏层数和纪元下的准确性变化
本文目的是分析神经网络的隐藏层数对网络性能的影响，为了展示这种影响，我们在 MNIST 数据集上应用了不同层数的神经网络，并观察不同层数和不同迭代次数下 ANN 精度的变化以进行比较和对比。
- 利用深度学习高效表示和逼近模型预测控制律
本研究显示，采用具有修正线性单元作为激活函数的人工神经网络可以精确表示由线性时不变系统的模型预测控制的分段仿射函数。在神经网络中使用更深的网络具有特别的吸引力，因为它们可以表示比只有一个隐藏层的网络多指数个仿射区域。本研究提出了理论界限，用 - ICMLFortified Networks: 通过建模隐藏表示的流形来提高深度网络的鲁棒性
本文提出 Fortified Networks，通过加强深度神经网络的隐藏层来提高深度网络的鲁棒性，尤其是在面对对抗性攻击的情况下。Fortified Networks 主要通过识别隐藏状态是否脱离了数据流形来操作，将隐藏状态映射回数据流形 - AAAI基于深度学习的人脸识别系统对抗性攻击的稳健性解析
本文针对深度神经网络在人脸识别中的鲁棒性进行了研究，分析了深度学习算法的脆弱性，建立了分类器来检测对深度网络中隐藏层的攻击，并提出了多种方法来缓解攻击影响并提高神经网络的鲁棒性。
- FreezeOut: 逐渐冻结层以加速训练
在深度神经网络中，我们提出仅对隐藏层进行一定时期的训练，并逐层将它们冻结并排除在反向传递中，从而在 CIFAR 上进行实验，实现了 20% 的时间节省，3% 的 DenseNets 准确度损失，20% 的 ResNets 加速而无损失，并没 - ICLR深度网络表达自然函数的能力
证明深度神经网络可以有效逼近多元多项式，但当只有一个隐藏层时，所需的神经元数量呈指数级增长；另一方面，增加隐藏层数量从 1 到 k 时，所需的神经元数量的增长速度是随着 n^(1/k) 对数增长，暗示了实用的表达所需的最小层数仅对 n 进行