Jun, 2024

SGD在高维度中的梯度剪裁动力学

TL;DR通过研究剪裁在流式随机梯度下降中的应用,发现剪裁在某些噪声环境中可以提供性能优势,并讨论了高维剪裁与神经网络训练之间的联系。