BriefGPT.xyz
Ask
alpha
关键词
linguistic dataset
搜索结果 - 1
EMNLP
在语言模型中桥接信息论压缩与几何压缩
通过分析语言模型(LM)中的压缩方法,从几何和信息论的角度,我们证明这两种视角高度相关,表明语言数据的内在几何维度可以预测其在 LM 下的编码长度,进而表明语言信息压缩能力是成功 LM 性能的重要组成部分。同时,我们还评估了一系列首次应用于
→
PDF
9 months ago
Prev
Next