sparse neural models | BriefGPT

关键词sparse neural models

搜索结果 - 1

ICML神经语言模型自然出现稀疏性
本研究探讨稀疏神经模型在自然语言处理中的重要性，使用出租车欧几里得范数对稀疏度进行量化，发现输入频繁的词在激活方面较为集中，而目标词汇的激活由分散变得集中，并且功能词梯度比内容词梯度更集中。
PDF5 years ago