Jan, 2024
全连接前馈神经网络中权重优化的闭式解决方案
A Closed-form Solution for Weight Optimization in Fully-connected Feed-forward Neural Networks
Slavisa Tomic, João Pedro Matos-Carvalho, Marko Beko
TL;DR该研究针对全连接前馈神经网络的权重优化问题,提出了使用最小二乘法来实现权重优化的方法。这种方法具有闭合形式解,能够在单次迭代中通过反向传播的方式优化每层神经元的权重,并且能够在几次迭代中适应输入到输出映射不是单射的情况。与现有解决方案相比,这种方法的计算是并行的,具有确定性的运行时间,并且在准确性方面与现有解决方案竞争,但在运行时间方面明显优于它们。总之,这种新方法实现简单,与现有方法相比在计算效率上更高,并且适于并行实现。