Nov, 2022

分布语义的实用限制约束

TL;DR本文研究了语言模型在 Zipf 定律背景下的统计学习限制,表明无论什么标记都会出现 Zipf 的标记分布,标记分布由两个不同频率和语义的标记组成,这些特性干扰了由分布语义驱动的统计学习过程。