该文提出了一种基于主题模型的 skip-gram 方法来学习多原型词嵌入，同时介绍了一种修剪嵌入的方法，用于代表每个主题中每个单词的概率表示， 并将我们的嵌入用于展示它们可以强烈地捕获上下文和词汇相似性，并优于各种最先进的实现。

Sep, 2019

文章介绍了一种可以精确和控制地针对句向量中的组合含义信息的方法，利用一个专门的句子生成系统，创建遵循特定句法、语义和词汇约束条件的带注释的大型句子集。实验表明，这种方法能够从多种现有的句子表示模型中提取有用的信息，有助于理解这些系统对句子信息的捕获能力。

Sep, 2018

本文介绍一种基于词嵌入组合方法，该方法旨在通过满足新向量与其组成部分的向量表示之间的距离一致且最小化来实现给定一组词的公平嵌入表示。该嵌入组合方法可适用于静态和上下文相关的词表示，适用于创建句子的表示，并学习不一定按序组织的词组的表示。我们理论上表征了这种表示存在的条件并推导了解决方案。我们在数据增强和句子分类任务中评估了该方法，研究了嵌入和组合方法的多种设计选择。我们展示了我们的方法在解决用于捕捉句子简单语言特征的探测任务方面的卓越效果。

Jun, 2024

使用语义组合性建模的透明、可解释和语言学动机策略，模拟词的上下文意义编码，并且与复杂神经结构下的黑盒模型相比，显示其与语言学动机模型在给定语义任务中的竞争力。

Dec, 2023

使用混合模型来学习多感知词嵌入，取得了比以前更好的效果。

Jun, 2017

本文研究了词向量的解释问题，提出了一种算法可通过上下文信息和目标词语推断其意义，进而利用循环神经网络生成该词汇的定义，实现对词向量的直接解释。同时，作者提出了一个高质量的词汇上下文 - 定义数据集，用于词义消歧与定义建模。经实验测试，该方法在 BLEU 评分和人工评估测试中表现出卓越的性能。

Sep, 2018

提出一种新模型共同学习单词和语义嵌入，以解决现有方法无法区分单词不同含义的问题，利用大规模预料库和语义网络优化嵌入空间，并在各种任务中评估了该方法的优点。

Dec, 2016

本文介绍了一种新型的深层上下文词表示方法，既能够建模单词用法的复杂特征 (如句法和语义)，又能够建模这些用法在语言上下文中的变化 (即建模多义性)，这些表示可以轻松地添加到现有模型中，并且可以显著提高 NLP 问题的性能。

Feb, 2018

论文介绍了一种利用多层次信息和分布式信息的新技术，以检测名词短语的组合度，同时采用有监督的方法，并且使用了 Poincaré 嵌入，可以获得显著的效果提升。

Jun, 2019

通过最大化同一文本最小扰动嵌入之间的对齐，以及在更广泛的语料库中鼓励嵌入的均匀分布，基于对比学习的各种方法已被提出来从未标记的数据中学习文本表示。不同的是，我们提出最大化文本和其短语成分组成之间的对齐，考虑了此目标的多种实现方法，并详细阐述了每种情况下对表示的影响。语义文本相似性任务上的实验结果显示，与最先进的方法相当的基线改进。此外，本工作是第一个这样做而不需要额外网络参数或辅助训练目标的工作。

Jul, 2023