AAAINov, 2021

PESTO:基于切换点的动态和相对位置编码用于混合语言

TL;DR这篇论文研究了利用基于切换点的位置编码技术来处理印地英文(Hinglish)等混合语言的 NLP 模型,发现位置编码可以是一种有效的训练位置敏感型 CM 文本的语言模型的方法,虽然结果只略好于 SOTA。