BriefGPT.xyz
Ask
alpha
关键词
smoe
搜索结果 - 2
动态专家混合:高效 Transformer 模型的自动调优方法
通过引入动态的专家混合技术(DynMoE),我们的方法在视觉、语言和视觉 - 语言任务中取得了竞争性能,同时通过激活更少的参数来保持效率。
PDF
a month ago
融合然后压缩:从其路由策略中揭示高效 SMoE
通过专家融合和神经元排列对信息进行压缩,MC-SMoE 模型实现了高效的神经网络学习,降低了内存和计算资源的需求。
PDF
9 months ago
Prev
Next