Jun, 2024
通过最优收缩在预测问题中校准神经网络参数
Calibrating Neural Networks' parameters through Optimal Contraction in a Prediction Problem
Valdes Gonzalo
TL;DR通过将递归神经网络转化为一个已知参数为线性的收缩系统，本文展示了透过具有特定正则化项的递归神经网络模型建模的预测问题可以通过解析法找到其一阶条件的方程组，并将其简化为包含 Sylvester 方程的两个矩阵方程，从而证明在满足一定条件的情况下，可以通过直接算法以任意精确度找到存在且唯一的最优参数。此外，随着神经元数量的增长，收敛条件变得更容易满足。还研究了参数线性约束下的前馈神经网络，引入循环（带有固定或变量权重）将导致更容易训练的损失函数，因为它保证了一个迭代方法收敛的区域的存在。