EMNLPOct, 2019

注意力机制对中文分词的影响

PDF
TL;DR本研究采用贪婪解码算法，侧重于进一步加强中文分词模型本身，在保持更高速、更准确性的情况下，提出了一个基于变型 Transformer 和双仿生注意力评分器构建的编码器模型，以及高速分词的轻量化解码器模型。实验结果表明，该模型在语义切分速度最快的情况下，可以在与强基线模型比较的同时达到新的最佳性能水平。
chinese word segmentationattention mechanismgreedy decodingtransformerbiaffine attention scorer
发现论文，激发创造
  • 神经网络中的中文分词：序列到序列翻译模型

    提出了一种基于注意力机制编码解码框架的序列到序列的中文分词模型，拥有全局信息和多任务融合的能力，并在微博、北大和微软亚洲等数据集上取得了与最先进方法相当的竞争性能。

    Nov, 2019

  • BERT 遇见中文分词

    应用 BERT 模型对中文分词任务进行了探究，在标注不一致的情况下 BERT 模型可以稍稍提高性能，具有良好的特征提取能力，大模型通常具有更好的性能，可作为其他神经网络模型的优秀特征候选项，Softmax 表现可以不输 CRF。

    Sep, 2019

  • 自我关注网络在中文分词中的应用研究

    研究了自注意网络和 BERT 对中文分词任务的影响，提出了将词信息集成到自注意网络中的方法，并展示了该方法在 6 个领域基准测试中的最佳结果。

    Jul, 2019

  • 面向中文的快速准确神经分词

    本研究提出了一种贪心神经分词器，利用平衡的词和字符嵌入输入来增强现有模型的计算效率，并能在中文基准数据集上以非常高的速度和更高的准确率执行分词，从而实现真正的端到端分词。

    Apr, 2017

  • 基于分段语言建模的汉语无监督神经分词

    本文提出了基于分段的语言模型处理无监督中文分词的方法，并使用上下文编码器和分段解码器设计了神经模型，达到了与最新统计模型相当的性能。

    Oct, 2018

  • 基于 Transformer 编码器的多准则中文分词简明模型

    提出了一种基于 Transformer 编码器的多准则中文词分割 (MCCWS) 统一模型，该模型可对简体和繁体中文进行分割，并具有出色的迁移能力。在八个具有不同准则的数据集上进行实验，结果表明我们的模型优于单准则基线模型和其他多准则模型。

    Jun, 2019

  • 使用词嵌入的卷积神经网络用于中文分词

    本文提出了基于卷积神经网络的、能够自动获取丰富 n-gram 特征的中文分词模型，并结合词嵌入有效地解决了单个字不足以表示完整词汇信息的问题，经过在 PKU 和 MSR 两个基准数据集的实验，该模型在两个数据集上均表现出有竞争力的性能。

    Nov, 2017

  • 多标准学习方法实现快速准确的神经网络中文分词

    为适应不同注释标准而设计的基于 BERT 的多标准中文分词模型，在 10 个中文分词数据集上实现了比之前最先进的模型更高的效率和性能。

    Mar, 2019

  • 基于音节的 Transformer 序列到序列中文语音识别

    通过使用基于自注意力机制的 Transformer 模型，比较了基于音节和音素的汉语语音识别模型，结果表明音节模型在 HKUST 语料库上表现优异。

    Apr, 2018

  • CAN-NER：用于中文命名实体识别的卷积注意力网络

    本研究探讨了一种名为 Convolutional Attention Network (CAN) 的中文命名实体识别方法，该方法基于字符级卷积神经网络与门控循环神经网络，通过局部注意层和全局自注意层来捕获相邻字符和句子上下文的信息，并不依赖于外部词典等资源，使用小的字符嵌入，有效地提高了识别性能。该方法在微博、MSRA 和中文简历数据集等不同领域数据集上表现优于现有最先进方法，且不需要使用字嵌入和外部词典资源。

    Apr, 2019