Jun, 2023

深度神经网络中的逐层反馈对齐保持不变

TL;DR本文揭示了支持反馈对齐学习动力学的一组守恒定律,揭示了反馈对齐与梯度下降之间的有趣类比,挑战了这些学习算法根本不同的流行说法,并表明这些守恒定律阐明了ReLU网络中反馈矩阵的逐层对齐的充分条件,这将使得使用反馈对齐训练的两层线性网络收敛到最小化范数的解决方案。