本文研究了语境化语言模型的多义词辨别能力。作者提出了一个人工注释的数据集，用于评估多义词词义的相似性，发现多义词的词义相似性介于相同和同音异义之间，并呈现出一定的词义变化规律性。BERT Large 在相似性等级方面表现最佳，但无法一致地复制观察到的相似性模式，并且在某些类型的多义词变化上存在问题。

Sep, 2021

本文探讨了自然语言处理中的一项工作，基于 BERT 嵌入空间来评估英语单词的多义和同音词意义之间的相关性。发现使用 BERT 嵌入模型能够在意义表示上更加清晰地捕捉多义性和同音词意的潜在结构，具有潜在的应用价值。

Oct, 2020

通过比较多种 BERT-based 语言模型中的语境化词嵌入，我们评估了西班牙语歧义名词的语义表达。我们开发了一个新颖的句子数据集，并收集了人类的相关性判断。结果显示，这些语言模型的语义表达在人类判断中捕捉到一些差异，但不能达到人类水平。与英语不同，我们发现在西班牙语中，模型规模与性能之间没有相关性。此外，我们还发现了目标名词消歧的陈规轨迹，并在英语中部分复制了这一结果。我们贡献了（1）一组包含人类相关性判断的西班牙语句子刺激数据集，以及（2）认识到语言模型规格（结构，训练方案）对语境化嵌入的影响。

Jun, 2024

通过研究 18 种不同语言中的单词，文章证明了词汇歧义的大小与上下文提供关于其信息量的相关性，从而推断有歧义的单词可以在上下文中被澄清，使其更好理解。

Oct, 2020

本文旨在填补对上下文依赖词向量表示评估的空白，介绍了一个新数据集 CoSimLex，它提供了基于上下文的相似度量，不仅涵盖了单词意义上的离散差异，而且涵盖了更微妙、更连续程度的意义变化，并且覆盖了不只一个语言。

Dec, 2019

本研究提出一种新的上下文感知的无监督词义消歧方法，通过将上下文信息纳入相似度量计算过程中，有效地管理文本中的词义模糊，从而提高了词义消歧的准确性并超越了现有的多种技术。

May, 2023

本研究提出一种新颖的在线算法，通过最小化上下文嵌入组内的距离来学习单词嵌入中每个维度的本质，以三种最先进的基于神经网络的语言模型 Flair、ELMo 和 BERT 生成上下文嵌入，为同一词汇类型生成不同的嵌入，这些嵌入由 SemCor 数据集手动标注的意义进行分组，结论表明本文提出的算法不会损伤性能，甚至能提高 3%，可以用于未来关于上下文嵌入可解释性的研究。

Nov, 2019

介绍一种利用最近邻分类法和上下文表示词嵌入进行词义消歧的简单而有效的方法，并比较不同的上下文表示模型在该任务上的表现。使用标准的词义消歧数据集表明，在这项任务上，与现有技术相比，已取得了改进。另外还展示了预训练的 BERT 模型能够将多义词与嵌入空间的不同 “意义” 区域联系起来，而 ELMo 和 Flair NLP 似乎没有这种能力。

Sep, 2019

本文提出两种改进的解决方案，通过将上下文多义词嵌入视为噪声（去除）和通过生成聚类级别的平均锚嵌入以替换上下文多义词嵌入，提高了跨语言语境下上下文词嵌入对齐的微观性能，同时不会损害双语词汇表归纳任务的宏观性能；对于无监督对齐，我们的方法在双语词汇表归纳任务中显著提高了 10 多分。

Sep, 2019

我们的研究使用最新的上下文语言模型对词汇歧义的心理学理解进行了一系列模拟，发现它们捕捉了单义词、同音异义词和多义词之间的微妙有意义的区别，为现代心理学理解词汇歧义提供了量化支持，并提出了理解上下文信息如何跨不同时间尺度塑造词汇意义的新挑战。

Apr, 2023