BriefGPT.xyz
Ask
alpha
关键词
taxi-euclidean norm
搜索结果 - 1
ICML
神经语言模型自然出现稀疏性
本研究探讨稀疏神经模型在自然语言处理中的重要性,使用出租车欧几里得范数对稀疏度进行量化,发现输入频繁的词在激活方面较为集中,而目标词汇的激活由分散变得集中,并且功能词梯度比内容词梯度更集中。
PDF
5 years ago
Prev
Next