Jun, 2020
目标传播的理论框架
A Theoretical Framework for Target Propagation
Alexander Meulemans, Francesco S. Carzaniga, Johan A. K. Suykens, João Sacramento, Benjamin F. Grewe
TL;DR本研究中,我们分析了一种叫做目标传播(TP)的替代反向传播(BP)的方法,从数学优化的角度进行了研究,并发现了它的基本限制。我们提出了一个创新性的重构损失来改善反馈权重训练,并通过允许直接反馈连接从输出到每个隐藏层来引入架构灵活性。实验结果表明,与差分目标传播(DTP)相比,性能得到了显著提高,并且前向权重更新与损失梯度的对准得到了改善。