BriefGPT.xyz
大模型
Ask
alpha
关键词
compute requirements
搜索结果 - 4
SEER-MoE：稀疏专家效率通过正则化的混合专家模型
我们的研究引入了 SEER-MoE，这是一个新颖的两阶段框架，用于减少预训练 MoE 模型的内存占用和计算需求。第一阶段通过使用重要数据计数指导来修剪专家的总数，而第二阶段采用基于正则化的微调策略来恢复准确性损失并减少推断过程中激活的专家数
→
PDF
3 months ago
人工智能与内存壁
通过分析编码器和解码器 Transformer 模型，我们展示了在解码器模型中内存带宽如何成为主要的瓶颈，并提出了模型架构、训练和部署策略的重新设计来克服这一内存限制。
PDF
3 months ago
LoRA 适配器的令牌级适应性对下游任务的概括
该论文介绍了一种方法，用于将 LoRA 适配器适应于任意下游任务的小型语言模型。与标准的专家混合结构不同，我们的方法使用无梯度路由函数来选择加权组合的专家，而不会增加训练或推断的计算要求。结果表明，LoRA 适配器的标记级适应性在数学（GS
→
PDF
8 months ago
卷积神经网络（CNN）的演进：边缘人工智能的计算与存储带宽
该论文探讨了卷积神经网络在边缘人工智能中的计算要求和存储带宽之间的关系，研究了模型复杂度增加对计算需求和存储访问模式的影响，并提供了计算需求和存储带宽要求之间权衡的比较分析，为设计有效架构和提升边缘设备上的卷积神经网络性能的硬件加速器提供了
→
PDF
9 months ago
Prev
Next