提出了 Singular Vector Canonical Correlation Analysis（SVCCA）技术，用于快速比较两个表示方式，并测量网络层的内在维度、学习动态、类特定信息和建议新的训练方案。

Jun, 2017

通过 SVCCA 算法，探索并比较神经网络语言模型的学习动态，结果显示词性先于主题进行学习，循环层逐渐类似于标注器，嵌入层则不同，这一研究对于改进自然语言处理模型的学习算法及更好地融合语言学信息具有指导意义。

Nov, 2018

该研究论文展示了如何使用基于神经网络的方法用于数值偏微分方程中处理随机系数的问题，通过神经网络解决 PDE 问题从而简单和精确地表示物理量。

Jul, 2017

作者们通过投影加权规范相关分析法（projection weighted CCA）研究神经网络的表征学习。研究发现，广泛的神经网络更容易获得相似的表征，与学习速率相关的神经网络收敛到具有不同表征的不同聚类中，RNN 随着时间的推移呈自底向上的模式聚合，而其隐藏状态在序列的不同时间间隔内变化较大。

Jun, 2018

本文介绍了一种超越当前流行的最坏情况的理论控制框架，重新审视神经网络的统计力学的古老理论，并使用一个名为 VSDL 的模型来描述当算法过早停止或输入加噪声时会增加的温度和减少的数据量对深度神经网络的控制效果，进而提供了关于其过度拟合训练数据、学习算法波动和转变的一种新的定性描述。

Oct, 2017

该论文提出了一种将多层求解器和基于神经网络的深度学习方法相结合的新方法，用于解决高维参数的偏微分方程数值解问题，并在理论和实验方面都得到了验证。

Apr, 2023

本研究旨在通过利用解空间的低维特性，导出 ReLU 神经网络逼近参数化偏微分方程解映射复杂度的上界，具有较传统神经网络逼近结果更优的逼近速率。具体而言，在不了解具体形状的情况下，我们利用小型降维基解的存在性，构建了一些神经网络，以便大范围参数化偏微分方程可以提供这样的参数化解映射逼近，而这些网络的大小基本只取决于基解的大小。

Mar, 2019

这篇论文揭示了深度人工神经网络在 Kolmogorov PDEs 数值逼近中克服了维数灾难的现象。我们证明了所用 DNN 模型的参数数量在 PDE 维数 d 和逼近精度的倒数 ε 的倒数中，最多呈多项式增长。

Sep, 2018

本研究使用图神经网络和频谱图卷积设计了两种不同的时间独立偏微分方程的解算符，并使用多种形状和不均匀性的有限元素求解器的模拟数据对网络进行训练，结果发现训练不同的数据集在所有情况下都是实现良好的技术并获得广泛应用的关键。

Jun, 2022

本论文通过应用无序系统的统计物理学技术，对解决使用 softmax 输出和交叉熵损失的分类任务的深度神经网络的推广进行非线性动力学的分析，以理论上支持多任务学习表现由任务的噪声性以及输入特征对其的对齐程度来决定的直觉。

Oct, 2019