AAAINov, 2021
PESTO:基于切换点的动态和相对位置编码用于混合语言
PESTO: Switching Point based Dynamic and Relative Positional Encoding for Code-Mixed Languages
Mohsin Ali, Kandukuri Sai Teja, Sumanth Manduru, Parth Patwa, Amitava Das
TL;DR这篇论文研究了利用基于切换点的位置编码技术来处理印地英文(Hinglish)等混合语言的 NLP 模型,发现位置编码可以是一种有效的训练位置敏感型 CM 文本的语言模型的方法,虽然结果只略好于 SOTA。