本研究详细介绍了一个基于丰富的单词嵌入的组成分布式框架，旨在促进句子中单词之间的交互，并使用环境中的句法信息来增强向量。研究结果表明，该框架在 MSRPar 任务上取得了具有代表性的结果。

Aug, 2015

文章介绍了一种可以精确和控制地针对句向量中的组合含义信息的方法，利用一个专门的句子生成系统，创建遵循特定句法、语义和词汇约束条件的带注释的大型句子集。实验表明，这种方法能够从多种现有的句子表示模型中提取有用的信息，有助于理解这些系统对句子信息的捕获能力。

Sep, 2018

本文系统地分析了最新预训练 transformer 模型中对词组的表征方式，并使用人类对词组相似度和语义转换的判断来比较单词重叠与组成效应对因素间的影响。结果表明这些模型对词汇内容依赖很强，且未发现有像人类那样的精细组成效应。同时，本文还发现了在不同模型、层次和表征类型之间的词组表征质量的差异，并为使用这些模型的表征提出了相应的建议。

Oct, 2020

本文探讨了现代语言模型是否能够学会表示复合短语中的复合性和非复合性，通过预测长语的内部表示来证明了现代语言模型可以预测一个父短语的表示。同时，通过多种分析，揭示了不同类型的语言模型何时产生了复合表示，并探讨了未来建模工作的可能性。

Oct, 2022

通过最大化同一文本最小扰动嵌入之间的对齐，以及在更广泛的语料库中鼓励嵌入的均匀分布，基于对比学习的各种方法已被提出来从未标记的数据中学习文本表示。不同的是，我们提出最大化文本和其短语成分组成之间的对齐，考虑了此目标的多种实现方法，并详细阐述了每种情况下对表示的影响。语义文本相似性任务上的实验结果显示，与最先进的方法相当的基线改进。此外，本工作是第一个这样做而不需要额外网络参数或辅助训练目标的工作。

Jul, 2023

比较了名词复合物的不同表示方法，发现复合函数往往比分布式函数更有效，并且不同的函数在不同情况下表现不同，建议采用联合训练以得到更好的表示。

Jun, 2019

本文提出了一种基于 contextual word embedding 以及外部知识库的方法，用于实现多词组的非固定组合性自动检测，该方法在数据集测评中表现良好。

Mar, 2019

本文介绍一种基于词嵌入组合方法，该方法旨在通过满足新向量与其组成部分的向量表示之间的距离一致且最小化来实现给定一组词的公平嵌入表示。该嵌入组合方法可适用于静态和上下文相关的词表示，适用于创建句子的表示，并学习不一定按序组织的词组的表示。我们理论上表征了这种表示存在的条件并推导了解决方案。我们在数据增强和句子分类任务中评估了该方法，研究了嵌入和组合方法的多种设计选择。我们展示了我们的方法在解决用于捕捉句子简单语言特征的探测任务方面的卓越效果。

Jun, 2024

本研究发现，通过预训练语言模型（LMs）建立的表征空间，不仅编码了单词及其关系等抽象语义概念，也能够识别如复杂性、正式程度和象征性等字词风格，以及使用在小数量文本中产生的矢量表征。此外，本文还对这些表征空间的词级与短语级特征进行了分析，并表明无论静态嵌入还是上下文化 LMs，都可以在对不同长度的文本进行字符化时得到更高的准确度。

May, 2023

本文提出了第一种使用上下文词表示进行无监督词汇语义变化的方法。利用 BERT 神经语言模型来获取单词用法的表示，将这些表示聚类到用法类型，并用三种提出的度量方式衡量关于时间的变化。创造了一个新的评估数据集，并表明模型表示和检测到的语义转移与人类判断之间呈正相关。 extensive 的定性分析表明，我们的方法捕捉了各种同步和历时语言现象。我们期望我们的工作将激发进一步的研究。

Apr, 2020