Jun, 2023

用于神经网络训练的随机反馈对齐算法:为什么能对齐?

TL;DR本文研究反馈对准算法的梯度对准机制(gradient alignment),使用数学推理和模拟证明了梯度对准是该算法固定点的稳定性准则,但高度的梯度对准却不一定会导致良好的算法性能。