通过本文，我们引入了概念归纳这个非监督任务，从数据中学习一组定义概念的词语软聚类，该任务概括了词义归纳的任务。我们提出了一种双层方法来进行概念归纳，充分利用了本地词元为中心和全局跨词库视角来引导概念的生成。我们在 SemCor 的注释数据上评估所得到的聚类，并获得了良好的性能（BCubed F1 大于 0.60）。我们发现在我们的设置中，本地和全局层次相互有益于概念和词义的生成。最后，我们创建了表示我们引入的概念的静态嵌入，并在上下文任务中使用它们，取得了与现有技术相媲美的性能。

Jun, 2024

利用语境嵌入表示的词义表征，基于 WordNet 全覆盖创造了意义级别嵌入，并不依赖于显式知识或任务特定建模，从而实现了前所未有的词语消歧性能提升。

Jun, 2019

本文提出一种基于 sense embeddings 方法的词义感知 (word sense induction) 算法，通过 Sense 聚类和 Contextual 向量来辨别多义词的词义，相对于传统基于分布式模型的方法，我们的算法可以更好地处理语义相似性，通过对 SemEval-2010 数据进行的实验表明，本算法的效果优于所有参赛者及最近的大部分最新方法。

Jun, 2016

该文提出了一种基于主题模型的 skip-gram 方法来学习多原型词嵌入，同时介绍了一种修剪嵌入的方法，用于代表每个主题中每个单词的概率表示， 并将我们的嵌入用于展示它们可以强烈地捕获上下文和词汇相似性，并优于各种最先进的实现。

Sep, 2019

本文研究了语境化语言模型的多义词辨别能力。作者提出了一个人工注释的数据集，用于评估多义词词义的相似性，发现多义词的词义相似性介于相同和同音异义之间，并呈现出一定的词义变化规律性。BERT Large 在相似性等级方面表现最佳，但无法一致地复制观察到的相似性模式，并且在某些类型的多义词变化上存在问题。

Sep, 2021

本文探讨了自然语言处理中的一项工作，基于 BERT 嵌入空间来评估英语单词的多义和同音词意义之间的相关性。发现使用 BERT 嵌入模型能够在意义表示上更加清晰地捕捉多义性和同音词意的潜在结构，具有潜在的应用价值。

Oct, 2020

本文提出了一种基于上下文嵌入空间中的简单几何形式的新颖方法来评估多义性，该方法是完全无监督和纯数据驱动的，能够较好地反映来自 WordNet、OntoNotes、Oxford 和维基百科等 6 种不同标准度量方法的排名，并能对人工排名之间的相关性进行可视化和分析。同时，该方法的一个有价值的附带产品是在不增加成本的情况下进行不同词义的样本句子抽取。最后，完全无监督的本方法使其适用于任何语言。

Mar, 2020

在本研究中，我们通过定性和定量措施，研究了用于词义启动的 BERT uncased 12 层架构的基本表示，以确定预训练语言模型中词义转换的确切位置。

Dec, 2023

本文提出了一种三倍增的方法来进行无监督的多义词建模，其中使用低秩子空间来表示包含目标单词的句子，通过对表示的格拉斯曼几何进行聚类算法对目标单词的不同义项进行消歧辨别，最后基于英文维基百科语料库得出了多个词和词义对的表示，这些算法在标准意义识别和消歧辨别数据集上带来了新的最佳成果。

Oct, 2016

该研究针对多语言预训练语言模型（LMs）的词汇多义性知识不清晰的问题，提出了一种新的实验方法，通过对反应词语多义性分布的数据集进行分析，控制与多义性高度相关的参数，证明 BERT-derived 的表示能够反映单词的多义水平以及它们拆分为不同义项。它揭示了 contextualized representations 中编码的知识并为多语言词汇语义研究开创了新的途径。

Apr, 2021