使用 Poincaré 嵌入预测名词词组的组合性
本文提出了一种基于 contextual word embedding 以及外部知识库的方法,用于实现多词组的非固定组合性自动检测,该方法在数据集测评中表现良好。
Mar, 2019
本研究详细介绍了一个基于丰富的单词嵌入的组成分布式框架,旨在促进句子中单词之间的交互,并使用环境中的句法信息来增强向量。研究结果表明,该框架在 MSRPar 任务上取得了具有代表性的结果。
Aug, 2015
本文提出了一种新的方法,通过自适应加权组成和非组成短语嵌入来学习短语嵌入,其中使用组成性评分函数量化每个短语的组成水平,并联合优化功能参数。在实验中,我们将自适应联合学习方法应用于学习及物动词短语的嵌入,并显示组成分数与动词 - 宾语组合的人类评分具有很强的相关性,明显优于以往的技术水平。此外,我们的嵌入在及物动词消歧任务上也优于以前的最佳模型。我们还展示了一种简单的集成技术,进一步提高了两项任务的结果。
Mar, 2016
本文介绍了基于矢量表示的分布语义模型,扩展到短语和句子,提出了分类组合分布语义学理论框架,实现了短语和句子层面的言外推理,并通过实验论证了基于密度矩阵的熵距离在词语和短语、句子层面的言外推理可行性和优越性。
Dec, 2015
本文探讨了现代语言模型是否能够学会表示复合短语中的复合性和非复合性,通过预测长语的内部表示来证明了现代语言模型可以预测一个父短语的表示。同时,通过多种分析,揭示了不同类型的语言模型何时产生了复合表示,并探讨了未来建模工作的可能性。
Oct, 2022
本研究提出一种新的方法来衡量当今语言模型中形容词修饰现象的组合表现,研究结果表明当代神经语言模型在考虑下文影响时存在显著的差异,并且词类之间存在差异但在组合中无法表现,这引起了当前语言模型是否能够捕捉到真正的语言分布特性的质疑。
Oct, 2022
本文介绍一种基于词嵌入组合方法,该方法旨在通过满足新向量与其组成部分的向量表示之间的距离一致且最小化来实现给定一组词的公平嵌入表示。该嵌入组合方法可适用于静态和上下文相关的词表示,适用于创建句子的表示,并学习不一定按序组织的词组的表示。我们理论上表征了这种表示存在的条件并推导了解决方案。我们在数据增强和句子分类任务中评估了该方法,研究了嵌入和组合方法的多种设计选择。我们展示了我们的方法在解决用于捕捉句子简单语言特征的探测任务方面的卓越效果。
Jun, 2024
扩展基于类别、组成和分布的语义模型,通过将单词表示扩展为概率分布,定义对词汇蕴涵的对称和非对称相似度度量,利用量子变体对 von Neumann 熵进行度量。通过单词表示的组合映射和单词之间的蕴涵关系,提供了一种获取句子水平上的因果关系的方法。
Jun, 2015