BriefGPT.xyz
Ask
alpha
关键词
constant softmax (consmax)
搜索结果 - 1
ConSmax:硬件友好的可学习参数替代 Softmax
提出了一种有效的自注意机制替代方案 ConSmax,通过可扩展硬件和可微分参数实现大规模并行计算,以实现基于 Transformer 的大型语言模型的实时推理,并取得比现有方案更好的能源和面积性能。
PDF
5 months ago
Prev
Next