线性化神经网络的六堂课
本文提出了一种基于线性回归的方法来学习神经网络的权重和偏置，与标准的基于梯度的反向传播相比更为快速、稳定，但仅限于简单前馈神经网络、标量回归问题和可逆激活函数。
Jul, 2023
本文证明，对于一类良好行为的输入分布，一个双层全连接神经网络的早期学习动态可以通过在输入上训练简单的线性模型来模仿。关键在于通过约束初始时的神经切向核（NTK）和数据核的仿射变换之间的谱范数差异来赋值。我们还表明，这种令人惊讶的简单性可以在更多层和具有卷积结构的网络中持续存在，验证了这一点。
Jun, 2020
神经网络在科学领域取得了显著的成功，但是其模型的可解释性仍然是将这种技术应用于我们日常生活的主要瓶颈之一。本文提出了一种基于实例的线性化方法，来重新定义神经网络预测的前向计算过程，从而提供了一个突出输入特征重要性并准确解释每个输入特征对预测的贡献的特征归因图。此技术在有监督分类和无监督神经网络学习参数化 t-SNE 降维中的应用也进行了讨论。
Oct, 2023
线性回归和神经网络广泛用于建模数据。我们提出的研究中，通过对 LNN 的优化分析和与线性回归在合成噪声数据集上的性能比较，证明了没有激活函数的神经网络在训练和测试性能方面都会降低。
Dec, 2023
本研究采用神经线性模型对 UCI 数据集进行贝叶斯回归建模，并采用 UCI “gap” 数据集测试模型的 OoD 不确定性，研究结果表明该模型是简单且表现良好的方法，但需要合适的超参数调节。
Dec, 2019
本文介绍了基于随机矩阵的框架来分析单层线性网络在大维度和规模数据上通过梯度下降训练的学习动态，并对神经网络中的过拟合、早停和训练初始化等问题提供了深入的见解，为进一步研究今天神经网络中出现的更复杂的结构和模型打开了大门。
May, 2018
本论文研究神经网络训练中的隐性偏差，探究梯度流和梯度下降的极限情况下，使用对数或指数损失函数对线性可分数据进行训练的深度线性网络的权重收敛于秩 1 矩阵的现象是否会发生于全连接层和跳跃连接层的 ReLU 激活前馈网络中，提出了一些训练不变性，并以特定参数方向收敛的 ReLU 网络的常数权重和多线性函数作为论据进行证明。
Jan, 2022
通过分析线性模型，我们提出了两种更可靠、理论上更加准确的解释方法（PatternNet 和 PatternAttribution），适用于线性模型，并可改善深度神经网络的解释。
May, 2017
研究说明传统的循环神经网络（RNNs）在需要长期记忆的任务上表现不佳的原因是因为其随机初始化后的转移矩阵方差造成了梯度消失和梯度爆炸的问题，而使用线性 RNNs 代替时会出现更短的记忆偏差，这一理论经过人工数据和真实数据的验证。
Jan, 2021