COLINGMar, 2019

多标准学习方法实现快速准确的神经网络中文分词

PDF
TL;DR为适应不同注释标准而设计的基于 BERT 的多标准中文分词模型，在 10 个中文分词数据集上实现了比之前最先进的模型更高的效率和性能。
chinese word segmentationmulti-criteriabertdomain adaptive segmenterefficiency
发现论文，激发创造
  • 针对中文分词的对抗多标准学习

    本文提出了对抗多准则学习方法来集成多个异构分词准则的共享知识，通过在八个具有异构分词准则的语料库上的实验表明，相对于单一准则学习，每个语料库的性能都有显着提高。

    Apr, 2017

  • 多标准单词分割的有效神经解决方案

    本文研究了训练在多样化语料库上的单一联合模型，并提出了一种新颖的设计，使得该模型在中文分词任务上达到了最新的高性能表现。

    Dec, 2017

  • 用于多标准中文分词的 Switch-LSTMs

    本文提出了一种灵活的多标准中文分词学习方法：Switch-LSTMs，它由几个长短时记忆神经网络 (LSTM) 和一个自动选择器组成，可以在多个子标准之间灵活切换，相比之前的方法和单一标准学习，该模型在八个具有不同标准的语料库上取得了显著的改进。

    Dec, 2018

  • 基于 Transformer 编码器的多准则中文分词简明模型

    提出了一种基于 Transformer 编码器的多准则中文词分割 (MCCWS) 统一模型，该模型可对简体和繁体中文进行分割，并具有出色的迁移能力。在八个具有不同准则的数据集上进行实验，结果表明我们的模型优于单准则基线模型和其他多准则模型。

    Jun, 2019

  • BERT 遇见中文分词

    应用 BERT 模型对中文分词任务进行了探究，在标注不一致的情况下 BERT 模型可以稍稍提高性能，具有良好的特征提取能力，大模型通常具有更好的性能，可作为其他神经网络模型的优秀特征候选项，Softmax 表现可以不输 CRF。

    Sep, 2019

  • 重新思考中文分词：一个已解决的任务吗？

    本文评估了现有中文分词系统，提出了一种细粒度评估方法，并针对多准则学习提出了解决方案，为未来研究方向提供了参考。

    Nov, 2020

  • 使用 BERT 统一多准则中文分词

    本文利用预训练 Bert 模型和 bigram 特征，提出了一个新的基于 Bert 的统一的 MCCWS 模型并加入了一个辅助分类任务，在 8 个具有不同标准的数据集上进行实验，并取得了新的最优结果。

    Apr, 2020

  • 利用单词嵌入改善跨领域中文分词

    本文提出了一种基于半监督学习的词嵌入方法，用于提高跨领域中文分词的性能，实验证明该方法在小样本领域中表现良好，可以优化分词结果，尤其是在分割具有特定领域名词实体的数据集时较为有效。

    Mar, 2019

  • 具有词典知识的神经网络中文分词

    本文探讨了优化中文分词的策略，两种基于神经网络的方法被提出，分别是基于伪标签数据的生成和基于多任务学习。实验结果验证了这些方法在缺乏标注数据时都能有效地提高性能。

    Jul, 2018

  • 神经网络中的中文分词：序列到序列翻译模型

    提出了一种基于注意力机制编码解码框架的序列到序列的中文分词模型，拥有全局信息和多任务融合的能力，并在微博、北大和微软亚洲等数据集上取得了与最先进方法相当的竞争性能。

    Nov, 2019