BriefGPT.xyz
Ask
alpha
关键词
expert clusters
搜索结果 - 1
MoEC: 专家混合聚类
本研究提出了 Mixture of Expert Clusters 模型,通过在路由阶段引入基于方差的约束来促进专家层学习更多不同和适当的知识,并提出了一种专家集群结构的集群级别专家丢失策略。实验证明,该模型可以提高机器翻译和自然语言理解任
→
PDF
2 years ago
Prev
Next