BriefGPT.xyz
Ask
alpha
关键词
dense checkpoints
搜索结果 - 1
MoE Jetpack:从密集检查点到自适应的专家混合用于视觉任务
我们介绍了 MoE Jetpack,这是一种将密集检查点优化为 MoE 模型的有效方法。MoE Jetpack 包括两个关键技术:(1) 检查点回收,将密集检查点重新用于 MoE 模型的初始权重,以加速收敛、提高准确性并减轻预训练的计算负担
→
PDF
a month ago
Prev
Next