AAAINov, 2018

在单词形态层面植入理性知识的分布式表示

PDF
TL;DR本文提出一种基于词构建立汉语词汇和语义本体，在词根级别上将结构化的理性知识嵌入到分布式表示中，避免了语料库中繁琐的消歧义。并通过实例扩增技术来利用层次信息和解决数据稀疏性问题，采用 word2vec 训练词素的分布式表示，并通过评估获得的嵌入，以词相似度度量为应用，与传统模型相比获得 5 个 Spearman 分数或 8 个百分点以上的显着改善，呈现出被采纳新知识来源的非常有前途的前景。
morpheme embeddingschinese lexical ontologydistributed representationinstance proliferationword similarity measurement
发现论文，激发创造
  • 用于概率神经词嵌入的形态学先验

    通过将形态学信息融合到词向量中，构建了一个统一的概率框架，其中词嵌入是一个潜变量，并以形态学信息提供先验分布。此方法改进了内在词相似性评估，也在词性标注下游任务中提高了性能。

    Aug, 2016

  • 组合式分布式语义的多语言模型

    通过基于多语种数据和联合嵌入的分布式假设扩展学习语义表示的新技术，学习出在跨语言上语义等价的句子之间高度对齐而在不相似的句子之间保持足够距离的表示。此方法不仅适用于单词层面，还可以对文档进行语义层面的表示学习。在两个跨语言文档分类任务上，我们的模型都能胜过之前的最佳成果，并通过定性分析和枢轴效应研究证明了我们学习到的语义表示合理且能够捕捉跨语言语义关系。

    Apr, 2014

  • 词汇语义增强的神经词向量

    通过深度度量学习进行后处理可以提高神经语言模型中语义相似度推断的效果，并将层次拟合用于建模 IS-A 层次中的语义相似性细微差别。

    Oct, 2022

  • 隐含地将形态信息融入到词向量中

    本文提出了三种新模型，通过隐性使用形态信息增强单词嵌入，实验结果表明隐性模型优于传统显性模型，表现优于所有现有模型，并能在单词嵌入训练过程中补充语义信息。

    Jan, 2017

  • 通过对齐异构词汇语义空间实现未见词表示

    本文提出了一种利用词典等词汇资源，采用图嵌入和跨语言向量空间转换技术，为未见过的单词诱导嵌入的方法，对多个基准测试进行了优化，表现出一致的性能提升。

    Nov, 2018

  • 无需单词对齐的多语言分布式表示

    提出了一种在多语种情况下学习分布式表征的方法，该方法将分配相似的嵌入对齐句子，并分配不对齐的句子不相似的嵌入，模型学习到的表征具有语义信息，能够应用于跨语种文档分类任务，且未使用并行数据学习到能够跨语种捕捉语义关系的表征。

    Dec, 2013

  • 分布语义建模：应用本体相关方法来训练词向量空间模型的修订技术

    本文提出了一种基于神经网络的分布式语义建模技术 SPT，通过自然语言文本中的术语自动提取和应用医学或应用于构建术语向量空间模型的基本实体，实现从分布式词表示向分布式术语表示的转换，从而提高传统本体论开发的准确性。

    Mar, 2020

  • 利用语义桥梁学习罕见词汇的表示

    本文提出一种方法学习语言的词汇，并使用图嵌入技术和跨语言向量空间映射方法结合本体源和语料库来提高现有词向量的覆盖范围以及加强其词汇知识。所提出的方法在 Rare Word Similarity dataset 上表现出 10% 的性能提升。

    Jul, 2017

  • 形态学词向量

    通过使用德语数据作为案例研究，我们使用语素标注数据引导连续单词嵌入，使嵌入空间中的接近词彼此共享语素特征，并展示了我们学习得到的嵌入实现了这一目标。

    Jul, 2019

  • 神经机器翻译中适用于形态丰富语言的词表示模型

    本文提出了使用字符和形态级别单词分解学习单词表示的若干结构，并将这些表示法纳入一种新颖的机器翻译模型中，通过一个硬注意力机制联合学习单词对齐和翻译，从而提高 morphologically rich languages 翻译成英语的机器翻译的性能，相对强基线模型提高了 1 到 1.5 个 BLEU 分数。

    Jun, 2016