Jun, 2019

PKUSEG：多领域中文分词工具包

PDF
TL;DR本文提出了一个新的工具包 ——PKUSEG，用于多领域中文分词。PKUSEG 通过提供不同领域的独立模型来达到多领域分词的目的，还提出了一个领域自适应模型来为缺乏标签数据的领域提供分词模型。该工具包具有高性能，支持词性标注和模型训练，可适应各种应用场景。
发现论文，激发创造
  • 利用单词嵌入改善跨领域中文分词

    本文提出了一种基于半监督学习的词嵌入方法，用于提高跨领域中文分词的性能，实验证明该方法在小样本领域中表现良好，可以优化分词结果，尤其是在分割具有特定领域名词实体的数据集时较为有效。

    Mar, 2019

  • 具有词典知识的神经网络中文分词

    本文探讨了优化中文分词的策略，两种基于神经网络的方法被提出，分别是基于伪标签数据的生成和基于多任务学习。实验结果验证了这些方法在缺乏标注数据时都能有效地提高性能。

    Jul, 2018

  • 重新思考中文分词：一个已解决的任务吗？

    本文评估了现有中文分词系统，提出了一种细粒度评估方法，并针对多准则学习提出了解决方案，为未来研究方向提供了参考。

    Nov, 2020

  • 异质图神经网络的中文分词

    本文提出了一个名为 HGNSeg 的框架，它利用预训练语言模型和异构图神经网络充分利用多层次的外部信息以提高中文分词的性能，并在六个基准数据集上进行了实验，证明了我们的方法的有效性。尤其是在跨领域情况下，我们的方法还表现出很强的缓解词表外（OOV）问题的能力。

    Jan, 2022

  • 基于元学习的中文分词预训练

    本研究发现，先前使用的预训练模型往往采用语言建模作为预训练任务，缺少任务特定的分词先验知识并忽略预训练任务与下游分词任务之间的差异。为此，我们提出了一种 CWS 特定的预训练模型 METASEG，它采用统一架构并将元学习算法结合到多标准预训练任务中。实验证明，METASEG 可以利用不同现有标准的常见分词先验知识，并减轻预训练模型与下游 CWS 任务之间的差异。此外，METASEG 可以在 12 个广泛使用的 CWS 数据集上实现新的最佳性能，并显著提高低资源环境下的模型性能。

    Oct, 2020

  • 神经网络中的中文分词：序列到序列翻译模型

    提出了一种基于注意力机制编码解码框架的序列到序列的中文分词模型，拥有全局信息和多任务融合的能力，并在微博、北大和微软亚洲等数据集上取得了与最先进方法相当的竞争性能。

    Nov, 2019

  • 多标准学习方法实现快速准确的神经网络中文分词

    为适应不同注释标准而设计的基于 BERT 的多标准中文分词模型，在 10 个中文分词数据集上实现了比之前最先进的模型更高的效率和性能。

    Mar, 2019

  • BERT 遇见中文分词

    应用 BERT 模型对中文分词任务进行了探究，在标注不一致的情况下 BERT 模型可以稍稍提高性能，具有良好的特征提取能力，大模型通常具有更好的性能，可作为其他神经网络模型的优秀特征候选项，Softmax 表现可以不输 CRF。

    Sep, 2019

  • 中文分词：另一篇十年回顾（2007-2017）

    本文章回顾了中文分词（CWS）在最近的十年（2007-2017）的发展，特别关注了已经渗透到自然语言处理（NLP）大多数领域中的深度学习技术。作者得出的基本观点是，与传统的监督式学习方法相比，基于神经网络的方法还未表现出更优秀的性能，最关键的挑战仍然在于平衡对词汇内（IV）和词汇外（OOV）单词的识别。然而，由于神经模型有捕捉自然语言基本结构的潜力，因此我们对未来的显着进展持乐观态度。

    Jan, 2019

  • 基于分段语言建模的汉语无监督神经分词

    本文提出了基于分段的语言模型处理无监督中文分词的方法，并使用上下文编码器和分段解码器设计了神经模型，达到了与最新统计模型相当的性能。

    Oct, 2018