本研究介绍了两种神经网络的概念视图，即多值视图和符号视图，并通过在 ImageNet 和 Fruit-360 数据集上的实验测试了其概念表达能力。此外，论文还展示了这些视图可以量化不同学习架构之间的概念相似度，并演示了如何将概念视图应用于从神经元中归纳学习人类可理解的规则，从而为全局解释神经网络模型做出贡献。

Sep, 2022

本文通过等价于分层张量分解的方式，分析了各种卷积神经网络架构特征的表达效率和归纳偏置，并提供了新的网络设计工具。

May, 2017

本文从动态系统的角度对深度学习中隐藏的正则化进行了理论分析，并研究了等效于一些深度卷积神经网络的分层张量因式分解模型中的隐藏正则化。最终证明了该模型会自动进行低阶张量秩的隐藏正则化，实现与卷积网络相应的局部性隐式正则化。我们基于该理论设计了明确的惩罚局部性的正则化方法，并展示了它在非本地任务上提高现代卷积神经网络性能的能力，这违反了传统智慧认为需要改变结构的观点，凸显出通过理论分析神经网络的隐式正则化来增强其性能的潜力。

Jan, 2022

该论文提出了一种统一的网络结构，用于编码人类所学习到的显性知识和潜意识下的隐性知识，并能够同时服务于多种任务，并通过在卷积神经网络中引入隐性知识，进一步提高了各个任务的性能表现。

May, 2021

本文证明，对于一类良好行为的输入分布，一个双层全连接神经网络的早期学习动态可以通过在输入上训练简单的线性模型来模仿。关键在于通过约束初始时的神经切向核（NTK）和数据核的仿射变换之间的谱范数差异来赋值。我们还表明，这种令人惊讶的简单性可以在更多层和具有卷积结构的网络中持续存在，验证了这一点。

Jun, 2020

隐式深度学习预测规则推广了前馈神经网络的递归规则。这种规则基于涉及单个隐含特征向量的不动点方程的解，因此只是隐式定义的。隐式框架极大地简化了深度学习的符号表示，并在新体系结构和算法、稳健性分析和设计、可解释性、稀疏性和网络架构优化等方面开辟了许多新的可能性。

Aug, 2019

本文通过引入梯度间隙偏差和梯度偏转等统计量，从理论和实证角度研究了内隐正则化在 ReLU 神经网络中的运作方式，结果表明通过随机初始化和随机梯度下降的方式有效地控制网络输出，使其在样本之间直线插值且负责度较低。

Mar, 2019

本文提出了一种新型的图形隐式函数族，其具有等变层，可用于捕捉 3D 几何细节并保证对各种几何变换的鲁棒性，该方法在 ShapeNet 重建任务上比现有的旋转等变隐式函数从 0.69 提高到 0.89 (IoU)，并且可以推广到其他类型的相似变换，并且具有良好的泛化能力。

Mar, 2022

通过高维几何理论解释二元神经网络之工作机制，为压缩神经网络提供更深入的理解并为其他神经网络架构如循环神经网络的泛化提供基础。

May, 2017

我们开发了神经网络和组合核之间的一般对偶，从而更好地理解深度学习。我们表明，由普通随机初始化生成的初始表示足够丰富，以在对偶核空间中表达所有函数。因此，虽然最坏情况下目标函数很难优化，但初始权重形成了优化的良好起点。我们的对偶视角还揭示了神经网络的实用和审美视角，并强调了它们的表达能力。

Feb, 2016