BriefGPT.xyz
Aug, 2022
上下文中的迷失？关于上下文化词向量的意义差异
Lost in Context? On the Sense-wise Variance of Contextualized Word Embeddings
HTML
PDF
Yile Wang, Yue Zhang
TL;DR
揭示了上下文化单词嵌入的一些特征，包括上下文中单词意思的变化程度，单词在不同上下文中的一致性，以及单词位置偏差的影响，并提出一种减轻这种偏差的简单方法。
Abstract
contextualized word embeddings
in
language models
have given much advance to NLP. Intuitively, sentential information is integrated into the representation of words, which can help model
→