我们开发了一种简单而有效的方法来学习单词意义嵌入。通过聚类相关单词的自我网络，我们的方法可以从现有的单词嵌入中引出一种意义库，并通过学习的意义向量标记上下文中的单词，从而产生了下游应用。实验表明，我们的方法的性能与最先进的无监督 WSD 系统相当。

Aug, 2017

本篇研究通过使用大规模手动 Wikipedia 注释和词义，建立了一个新的数据集，其中将来自不同单词的词意通过语义类别相互关联。在此基础上，提出了一种新型的嵌入内容诊断测试方法，并通过将嵌入分类为语义类别进行嵌入空间分析。主要结论是：(i) 单向量嵌入通常很好地表现出词义的信息，但多义词的罕见含义对单向量嵌入的负面影响很小，对依赖于常见含义的自然语言处理应用的性能没有影响。

Jun, 2019

通过一种有监督学习方法，针对特定领域（例如运动、职业），识别出一组强烈改善人类相似度判断预测的模型特征子集，并通过两种方法解释所保留特征的语义，从而揭示了人类如何根据性别包容性和国际性来区分运动类别，以及不同领域中特征对不同语义维度的预测能力。对于职业特征而言，最能预测认知、情感和社会维度，而对于水果或蔬菜特征而言，则最能预测味觉维度。讨论了对于人工智能系统与人类知识之间的对齐的意义。

Oct, 2023

本文探讨了自然语言处理中的一项工作，基于 BERT 嵌入空间来评估英语单词的多义和同音词意义之间的相关性。发现使用 BERT 嵌入模型能够在意义表示上更加清晰地捕捉多义性和同音词意的潜在结构，具有潜在的应用价值。

Oct, 2020

该研究提出了一种统计方法来揭示密集词嵌入中的潜在语义结构，并引入了一个新的数据集（SEMCAT），其中包含超过 6500 个在 110 个类别下语义分组的单词。研究还提出了一种量化词嵌入可解释性的方法，这是一种实用的替代方法，不需要人为干预。

Nov, 2017

研究探讨了在使用 Word2Vec 算法时，当输入单元与声学相关时，如何无法编码分布语义。同时，对以文本为基础的嵌入进行自动词类聚类的简化方法也被忽视，而这正是该任务中真正的挑战所在。

Nov, 2023

该研究提出了一种理论方法，将词嵌入和知识图谱中的实体及其关系的几何形状联系起来，以便更好地理解它们的语义结构和性能。

Feb, 2022

本文检验了分布式词汇表示法是否能准确编码概念含义的所有必要方面，发现其无法准确编码概念的感知特征，导致词 - 词相似度预测误差。因此，文中提出需要注重基于经验和实体的语言学习方法来弥补这些缺陷。

May, 2017

该研究探讨了一种计算模型，即词嵌入模型，通过将词表示为多维空间中的向量，从词汇共现模式中学习来自语义记忆中的常见知识，并提出了语义投影的解决方案，以检验词嵌入模型是否能够恢复多种语义特征和对象属性的上下文依赖关系。

Feb, 2018

本研究提出一种新颖的在线算法，通过最小化上下文嵌入组内的距离来学习单词嵌入中每个维度的本质，以三种最先进的基于神经网络的语言模型 Flair、ELMo 和 BERT 生成上下文嵌入，为同一词汇类型生成不同的嵌入，这些嵌入由 SemCor 数据集手动标注的意义进行分组，结论表明本文提出的算法不会损伤性能，甚至能提高 3%，可以用于未来关于上下文嵌入可解释性的研究。

Nov, 2019