training speedup | BriefGPT

关键词training speedup

搜索结果 - 9

ElasticTrainer: 运行时弹性张量选择加速设备内训练
在本文中，我们介绍了一种名为 ElasticTrainer 的新技术，该技术通过全弹性的运行时适应性，在不引起显著准确性损失的情况下实现所需的训练加速，并在墙时钟时间上提高了多达 3.5 倍的训练速度，并将能源消耗降低了 2 倍至 3 倍。
PDF6 months ago
Egeria: 基于知识引导的层冻结技术用于高效 DNN 训练
本文介绍了一种跳过计算和通信过程的深度神经网络培训方法，采用层冻结技术，通过量子化技术实时地生成参考模型，以达到评估每个层的训练效果并安全地冻结已经达到了期望的层的效果，从而获得 19% 至 43% 的培训速度提升。
PDF2 years ago
Colossal-AI: 大规模并行训练的统一深度学习系统
该研究介绍了 Colossal-AI 系统，该系统可以将基于 Transformer 的深度学习模型训练从单个 GPU 扩展到分布式环境，实现了多种并行训练方法，提高了训练速度。
PDF3 years ago
ACL边际效用递减：探究 BERT 知识蒸馏的最少知识要求
本文提出了一种高效的知识蒸馏方法，能够压缩 BERT 模型而无需加载教师模型，并能够实现训练加速 2.7x ~ 3.4x。通过将 BERT 的隐藏知识分为深度、长度和宽度三个维度，该方法能够提取和蒸馏关键的隐藏状态知识，从而实现与大量蒸馏相
PDF3 years ago
训练前的单次结构化剪枝
使用结构化剪枝在训练之前使速度提高 2 倍，在推理中提高 3 倍的方法。通过删除整个通道和隐藏单元的方法来加快训练和推理，使用基于感受度每 FLOP 的计算感知得分机制来实现裁剪。
PDF4 years ago
CVPR一种用于高效训练视频模型的多重网格方法
通过使用多重网格方法和变量小批量形状，以在保持准确性的同时加速视频模型的训练速度，我们提出了一种通用和强健的网格时间表，该时间表可用于不同的模型，数据集和训练设置。
PDF5 years ago
深度学习模型并行加速中的陈旧度优化
本研究提出了 Layer-wise Staleness 方法与 Diversely Stale Parameters (DSP) 算法来解决深度卷积神经网络的训练效率问题，并对两种梯度法进行分析和证明，实验证明 DSP 能显著提升训练速度并
PDF5 years ago
对角重构：一种用于深度卷积的高效训练方法
本文提出了一种名为 Diagonalwise Refactorization 的有效方法，用于加速深度卷积层的训练，并在 5 个流行的深度学习框架中实现。实验结果表明，相对于深度卷积的原始实现，该方法在 Darknet 上获得了 15.4
PDF6 years ago
NIPSLightRNN: 记忆和计算高效的循环神经网络
提出了一种新的 RNN 算法，使用 2-Component 共享嵌入表示单词，并成功地将其应用于语言建模任务，大大减少了模型大小和训练时间。
PDF8 years ago