ACLJun, 2016

词嵌入和词形态的联合模型

PDF
TL;DR本文介绍了一种联合模型，能够对单词进行无监督的形态分析，并学习从形态素到单词嵌入的字符级组成函数。该模型对单词进行分割，并根据其预测上下文单词的能力对每个分割部分进行加权。我们的形态分析与专门的形态分析器相当，并且在语法类比回答任务中表现优异。最后，我们表明，将形态学明确纳入字符级模型有助于它们生成与人类判断更相关的未知单词的嵌入。
unsupervised morphological analysischaracter-level composition functionmorpheme boundary recoverysyntactic analogy answeringembedding for unseen words
发现论文，激发创造
  • 基于语义综合与形态分析的派生词处理

    该研究提出了一种新颖的概率模型来捕捉单词形成的分析和合成的含义，利用神经网络的向量组合方法，共同学习单词的形态划分和语义语素的分布式向量，提高了单词的分割准确率和语素 F1 指标 3% 至 5%。

    Jan, 2017

  • 隐含地将形态信息融入到词向量中

    本文提出了三种新模型，通过隐性使用形态信息增强单词嵌入，实验结果表明隐性模型优于传统显性模型，表现优于所有现有模型，并能在单词嵌入训练过程中补充语义信息。

    Jan, 2017

  • 形态学词向量

    通过使用德语数据作为案例研究，我们使用语素标注数据引导连续单词嵌入，使嵌入空间中的接近词彼此共享语素特征，并展示了我们学习得到的嵌入实现了这一目标。

    Jul, 2019

  • Word Embeddings 中语义与形态的相互作用

    本文探索了单词嵌入捕捉语义和形态相似性的能力，通过各种类型的语言属性（表面形式，词形，形态标签）将每个单词的表示组合起来影响该过程。我们训练了几个模型，每个模型使用不同的属性子集来组合它的表示。通过对语义和形态度量进行评估，我们揭示了语义和形态之间关系的一些有用洞见。

    Apr, 2017

  • 用于概率神经词嵌入的形态学先验

    通过将形态学信息融合到词向量中，构建了一个统一的概率框架，其中词嵌入是一个潜变量，并以形态学信息提供先验分布。此方法改进了内在词相似性评估，也在词性标注下游任务中提高了性能。

    Aug, 2016

  • 内部 - 外部的形态分割

    本文介绍了一种较为新的基于语境的、具有层级结构的标注模型，此模型结合形态分析和词汇造形中的拼写变化，有别于传统的非层级结构模型，并发布了一个包含 7454 个英语单词的标注树库，期望此成果能促进该领域的后续研究。

    Nov, 2019

  • 词表示和语言建模的组成形态学

    本论文提出了一种可扩展的方法，将组成形态学表示集成到基于向量的概率语言模型中，并在语言模型因词汇而被适当地实现以实现内部和外部评估，在一些语言上进行实验研究并展示结果，表明我们的模型学习了形态学表示，在词相似性任务上表现出色且使困惑度大幅降低，用于转化大词汇量的形态丰富语言时，我们的模型相对于使用回退 N-gram 模型的基线系统，可以获得高达 1.2 的蓝点改进。

    May, 2014

  • 揭示形态学链的无监督方法

    通过将词汇的正字法和语义视图相结合，采用基于形态学链的无监督形态学分析模型，使用形态素和单词级别特征的对数线性模型预测可能的父节点来分析阿拉伯语、英语和土耳其语的单词。

    Mar, 2015

  • 一种简单的联合模型，用于改善上下文神经词形还原

    本文介绍了一个简单的神经模型，用于词形还原和形态标记，可以达到 20 种语言的最新结果，并表明联合形态标记和词形还原特别有助于低资源词形还原和形态复杂性较高的语言。

    Apr, 2019

  • 无监督形态树分词器

    通过引入形态结构指导标记，提出了一种深度模型来诱导单词的字符级结构，该方法在形态分割任务和语言建模任务上表现良好，并优于 BPE 和 WordPiece 等广泛采用的方法。

    Jun, 2024