BriefGPT.xyz
May, 2023
文本的自相关衰减及语言模型的适用界限
Autocorrelations Decay in Texts and Applicability Limits of Language Models
HTML
PDF
Nikolay Mikhaylovskiy, Ilya Churilov
TL;DR
本文研究自相关在文本中的衰减规律如何影响自然语言处理的应用，使用分布语义学方法的经验结果表明词语的自相关服从幂律分布，而且自相关的幂指数在多种语言翻译的文本中表现一致，文章指出，表现马尔可夫特性的语言模型，包括大的自回归语言模型，在长篇文本处理或生成方面存在局限性。
Abstract
We show that the laws of
autocorrelations
decay in texts are closely related to applicability limits of
language models
. Using
distributional sem
→