Jul, 2024
通过双层自适应损失压缩加速深度学习推荐模型训练
Accelerating Communication in Deep Learning Recommendation Model
Training with Dual-Level Adaptive Lossy Compression
TL;DRDLRM模型是一种先进的推荐系统模型，由于其大尺寸，需要使用多个设备/GPUs进行高效训练。为了减少训练时间中通信的瓶颈，我们引入了一种利用有误差限制的有损压缩方法，以降低通信数据大小并加速DLRM训练。我们开发了一种新颖的有误差限制的有损压缩算法，并通过对嵌入数据特征的深入分析来实现高压缩比。此外，我们引入了一个双层自适应策略，涵盖了表格和迭代两个方面的误差限制调整，以平衡压缩带来的好处和对准确性的潜在影响。我们还针对GPU上的PyTorch张量优化了我们的压缩器，最小化了压缩开销。评估结果表明，我们的方法实现了1.38倍的训练加速，几乎不影响准确性。