BriefGPT.xyz
Ask
alpha
关键词
griffin
搜索结果 - 2
基于提示 - 提示的专家混合模型进行高效 LLM 生成
GRIFFIN 是一种在不同非 ReLU 激活函数的大规模语言模型 (LLMs) 中选择唯一的前馈 (FE) 专家以实现高效生成的新型无需训练的 MoE 方法。
PDF
3 months ago
Griffin:将门控线性循环与局部注意力相融合的高效语言模型
基于门控线性递归的 Hawk 和将门控线性递归与局部注意力相结合的混合模型 Griffin 在效率方面超过了 Mamba 和 Llama-2,在训练和推理阶段都具有更高的硬件效率,并且可以有效地进行分布式训练。
PDF
4 months ago
Prev
Next