使用线性回归迭代训练神经网络
线性回归和神经网络广泛用于建模数据。我们提出的研究中，通过对 LNN 的优化分析和与线性回归在合成噪声数据集上的性能比较，证明了没有激活函数的神经网络在训练和测试性能方面都会降低。
Dec, 2023
本文提出了一种混合学习方法，即每个神经元使用强化学习策略来学习如何近似反向传播算法提供的梯度，并给出了对于特定类别的网络中，该方法收敛到真实梯度的证明。在前馈和卷积神经网络中，我们经验证明我们的方法学习如何逼近梯度，并且可以匹配或超越精确梯度学习的性能。学习反馈权重提供了一个生物学上可行的机制来实现良好的性能，无需精确的预先指定学习规则。
Jun, 2019
本研究采用神经线性模型对 UCI 数据集进行贝叶斯回归建模，并采用 UCI “gap” 数据集测试模型的 OoD 不确定性，研究结果表明该模型是简单且表现良好的方法，但需要合适的超参数调节。
Dec, 2019
从线性模型分析多层神经网络的行为，并回顾其与线性模型之间的对应关系，以及线性化神经网络的四种模型：线性回归、核岭回归、随机特征模型和神经切线模型，以及线性理论的局限性和其他方法如何克服这些局限性。
Aug, 2023
本论文研究神经网络训练中的隐性偏差，探究梯度流和梯度下降的极限情况下，使用对数或指数损失函数对线性可分数据进行训练的深度线性网络的权重收敛于秩 1 矩阵的现象是否会发生于全连接层和跳跃连接层的 ReLU 激活前馈网络中，提出了一些训练不变性，并以特定参数方向收敛的 ReLU 网络的常数权重和多线性函数作为论据进行证明。
Jan, 2022
神经网络在科学领域取得了显著的成功，但是其模型的可解释性仍然是将这种技术应用于我们日常生活的主要瓶颈之一。本文提出了一种基于实例的线性化方法，来重新定义神经网络预测的前向计算过程，从而提供了一个突出输入特征重要性并准确解释每个输入特征对预测的贡献的特征归因图。此技术在有监督分类和无监督神经网络学习参数化 t-SNE 降维中的应用也进行了讨论。
Oct, 2023
该研究针对全连接前馈神经网络的权重优化问题，提出了使用最小二乘法来实现权重优化的方法。这种方法具有闭合形式解，能够在单次迭代中通过反向传播的方式优化每层神经元的权重，并且能够在几次迭代中适应输入到输出映射不是单射的情况。与现有解决方案相比，这种方法的计算是并行的，具有确定性的运行时间，并且在准确性方面与现有解决方案竞争，但在运行时间方面明显优于它们。总之，这种新方法实现简单，与现有方法相比在计算效率上更高，并且适于并行实现。
Jan, 2024
研究神经网络对回归问题的解决方法，针对两层 ReLU 网络探索了梯度优化引起偏差的一些现象，提出了一种新的支持度计算方法，得出实验证据，阐述了广义梯度下降和平方损失函数在训练中的优化困难。
Nov, 2022
研究了线性神经网络训练中渐进流（即用无穷小步长的梯度下降法）的隐含偏差；提出了神经网络的张量形式，包括全连接、对角线和卷积网络等特例，并研究了称为线性张量网络的公式的线性版本。通过这个公式，我们可以将网络的收敛方向表征为由网络定义的张量的奇异向量。
Oct, 2020