BriefGPT.xyz
Ask
alpha
关键词
conditional computing
搜索结果 - 2
条件信息增益网络
使用条件计算的深度卷积神经网络中的路由机制可以在仅使用计算资源的一部分时实现与无条件基准相媲美甚至更好的模型性能。
PDF
5 months ago
EMNLP
基于注意力头的注意力混合模型:逐标记选择注意力头
本文提出了一种新的神经网络结构 MoA (即 Mixture of Attention Heads),它结合了 Mixture-of-Experts 和 Multi-head Attention 机制,通过动态地选择 Attention H
→
PDF
2 years ago
Prev
Next