使用余弦相似度可对于 NLP 的任务（如问答，信息检索，机器翻译）进行上下文嵌入建模，但是我们发现使用 BERT 解析的余弦相似度在估算词语相似度方面存在高低频词的差异，在控制多义性和其他因素后，高频词与同一词语的其他实例或其他上下文中的其他词语的相似度被低估，这种低估是由于高低频词的代表性几何形状差异导致.

May, 2022

本文中，我们提出了使用扩展余弦相似度测量来提高单词相似度任务的性能，我们还探索了这种方法在上下文相同的情况下特别有效的假设，并使用了不同的数据集来进行测试。测试结果显示，使用本文提出的方法可以显著提高相似度任务的性能。

Mar, 2022

本文研究表明，对于用于学习感知嵌入的训练语料库中使用频率相关的信息和感知嵌入的 L2 范数是一种有效的特征，可用于提高单词感知相关任务的性能，例如最高频率感知预测，上下文中的单词（WiC）以及单词感知消歧（WSD）。

Oct, 2022

本文系统研究了几种静态词向量嵌入中单词频率与语义相似性之间的关联，并发现高频单词之间的相似性更高。同时，本文还探究了单词频率对基于嵌入的性别偏见测量的影响，并证明通过操纵单词频率可使偏见发生倒转。

Nov, 2022

本文通过理论证明和实验证明 Skip-gram 负采样法中词向量的平方范数编码了由 KL 散度定义的单词共现分布和语料库单纯分布之间的信息增益，进而通过关键词提取、上位词预测和词性鉴别等实验，确证了 KL 散度和词向量的平方范数可以作为单词相关信息量的一种度量方式，但需适当修正由单词频率造成的偏差。

Dec, 2022

提出通过对比学习策略来改进概念嵌入的语义表示方法，使用全新的 contextualized vectors 代替传统平均表示方法，可优化概念嵌入中的语义属性，使得使用该方法后的概念嵌入能在预测语义属性上显著突出于传统概念嵌入方法，尤其是使用 ConceptNet 的方法的效果最佳。

May, 2023

本研究提出一种新颖的在线算法，通过最小化上下文嵌入组内的距离来学习单词嵌入中每个维度的本质，以三种最先进的基于神经网络的语言模型 Flair、ELMo 和 BERT 生成上下文嵌入，为同一词汇类型生成不同的嵌入，这些嵌入由 SemCor 数据集手动标注的意义进行分组，结论表明本文提出的算法不会损伤性能，甚至能提高 3%，可以用于未来关于上下文嵌入可解释性的研究。

Nov, 2019

用于量化高维对象之间语义相似度的余弦相似度在实践中比未归一化的嵌入向量点积表现有时更好、有时更差。通过研究基于正则化线性模型的嵌入，我们得出了余弦相似度可以产生任意且无意义的相似度的结论。因此，我们提醒不要盲目使用余弦相似度，并提出替代方法。

Mar, 2024

本文提出了一种基于分布式相似性的概率词汇联想模型，用于估算先前未见过的词组的概率，并在语音识别中获得了显着的错误率降低和复杂性改进。

May, 1994

本文提出一种基于词频感知的令牌级对比学习方法，旨在从表示学习角度解决现代神经机器翻译系统中低频词预测的挑战。经实验证明，所提出的方法不仅可以显著提高翻译质量，还可以增加词汇多样性并优化词表示空间。与相关的自适应训练策略相比，该方法在不牺牲精度的前提下提高了低频词汇量的召回率稳健性。

Dec, 2021