Mar, 2024

基于前向梯度级联法的高效深度神经网络训练优化

TL;DR使用前向模式自动微分进行梯度计算的 Frank-Wolfe 算法具有次线性收敛速度,并优于使用后向传播方法的标准 Frank-Wolfe 算法,同时研究了深度神经网络和梯度计算的性能。