Jun, 2016

基于字符的神经元形态标注方法用于形态丰富语言

PDF
TL;DR本文探讨了适用于复杂形态和大标注集语言的神经字符基础形态标注，结合双向 LSTMs 建模跨单词上下文，发现网络架构和预训练词嵌入向量在‘简单’模型配置的情况下对准确度产生重要影响，通过增加深度优化神经网络可显著提高标注器准确度，最终德语和捷克语的最佳形态标注器性能显著优于文献中最好结果。
发现论文，激发创造
  • 跨语种字符级神经形态标注

    本文研究如何利用转移学习的方法，通过训练 character-level recurrent neural taggers 的方式，使得高资源语言和低资源语言都能够正确预测 morphological taggings，成功地实现了多语言间的知识迁移，有效提高了准确性达 30%。

    Aug, 2017

  • 利用形态信息增强深度神经网络

    通过将词汇学特征添加到 LSTM 和 BERT 模型中，我们比较了多种语言中命名实体识别、依赖解析和评论过滤任务的基线和改进模型表现，结果显示，根据所添加的特征的质量和任务的不同，这些特征对于 LSTM 的 NER 和 DP 任务表现提升效果较好，而不太适用于 CF 任务；对于 BERT，只有在高质量特征时才会对 DP 表现有所改善，而且相对于强大的多语言 BERT 模型，语言特异性 BERT 变体的改善程度较小。

    Nov, 2020

  • 基于字符识别的神经语言模型

    本研究描述了一种仅依赖字符级输入的简单神经语言模型，该模型利用卷积神经网络和字符级公路网络作为输入，并将结果给予一种长短时记忆递归神经网络语言模型作为输出，该模型可以用较少的参数占据现有最先进的地位。此外，该模型表现出色的证明了许多语言所需的字符输入已经足够进行语言建模，且可以从字符组成的部分编码的单词表示中得到语义和字形信息。

    Aug, 2015

  • 基于元 - BiLSTM 模型的上下文敏感词元编码词性标注

    本研究探讨了将具有句子级上下文信息的递归神经网络用于初始化字符和单词级别的表示，并通过元模型进行同步训练来优化其性能，以实现词性标注和形态标记的最佳性能表现。

    May, 2018

  • 神经词汇形态标注中复合标签的建模

    本文提出了一种基于神经网络序列标注器的词形标注方法，将词性标注中的词形标记视为复合标签并显式地建模其内部结构，同时在 49 种语言上表现出良好的效果。

    Oct, 2018

  • BRNNs 联合标记和词形还原处理丰富形态的语言

    通过使用字符级和词级嵌入，带有双向 RNN 的 LemmaTag 特征较少的神经网络架构，共同为句子生成词性标记和词素。该模型在捷克语，德语和阿拉伯语的词性标记和词素化方面的准确性超过了最先进的水平。

    Aug, 2018

  • 使用字符感知神经网络进行词级别预测：它们是否发现语言规则？

    本文研究字符级别模式识别神经网络所学习的规律以及相对于手动标注的词语分割的重叠性，并使用卷积神经网络和双向长短期记忆网络对三种不同的语言进行形态标记任务的评估和比较，证明这些模型可以隐式地发现可理解的语言规则。

    Aug, 2018

  • 基于字符的神经机器翻译

    本研究旨在解决神经机器翻译应用于大词汇量和形态丰富语言的挑战，通过使用基于字符的嵌入法，结合卷积层和高速公路网络来替代传统的基于词的表示法，并测试其在注意力机制双向递归神经网络中的应用，结果表明该方法即使在源语言不富含形态学的情况下也能够在德英 WMT 任务中取得高达 3 个 BLEU 分的改进效果。

    Mar, 2016

  • 双向长短时记忆循环神经网络进行词性标注

    使用词嵌入的双向 LSTM 循环神经网络模型（BLSTM-RNN）在词性标注任务中表现出色，可以达到 97.40％的准确率，而且不需要使用形态学特征，同时具备与斯坦福词性标注器相当的性能。

    Oct, 2015

  • 神经机器翻译模型学到了什么关于形态学？

    本文研究神经机器翻译的表示，探讨其对源语言和目标语言的理解以及对单词结构学习的影响，发现了一些关键参数对表示的影响

    Apr, 2017