中文神经分词学习

ACLJun, 2016

Neural Word Segmentation Learning for Chinese

Deng Cai, Hai Zhao

TL;DR本文提出了一种新颖的神经网络框架，利用门控组合神经网络和 LSTM 语言评分模型，消除上下文窗口，可以利用完整的分词历史，产生分布式表示，从而实现中文分词，并在基准数据集上进行实验，结果不需要使用现有方法的特征工程，获得了与现有最先进方法相当甚至更好的性能。

Abstract

Most previous approaches to chinese word segmentation formalize this problem as a character-based sequence labeling task where only contextual information within fixed sized local windows and simple interactions between adjacent tags can be captured. In this paper, we propose a novel n

chinese word segmentation neural network lstm distributed representations benchmark datasets

发现论文，激发创造

基于有向无环图的长短时记忆网络用于语言分词

本文介绍了一种新型神经模型，通过在有向无环图上使用长短时记忆网络来整合单词级别信息，结合预训练的字符或单词嵌入向量，实现了比基准模型更好的中文分词表现。

Jul, 2017

面向中文的快速准确神经分词

本研究提出了一种贪心神经分词器，利用平衡的词和字符嵌入输入来增强现有模型的计算效率，并能在中文基准数据集上以非常高的速度和更高的准确率执行分词，从而实现真正的端到端分词。

Apr, 2017

基于间隔的非常深的卷积网络中文分词框架

本文针对中文分词问题，提出了一种基于间隔的直接分割字符序列的框架，并使用深度卷积神经网络 ——ResNets 和 DenseNets，在五个基准测试中超过了最佳的基于字符和基于词的方法。

Dec, 2017

神经网络中的中文分词：序列到序列翻译模型

提出了一种基于注意力机制编码解码框架的序列到序列的中文分词模型，拥有全局信息和多任务融合的能力，并在微博、北大和微软亚洲等数据集上取得了与最先进方法相当的竞争性能。

Nov, 2019

基于分段语言建模的汉语无监督神经分词

本文提出了基于分段的语言模型处理无监督中文分词的方法，并使用上下文编码器和分段解码器设计了神经模型，达到了与最新统计模型相当的性能。

Oct, 2018

使用词嵌入的卷积神经网络用于中文分词

本文提出了基于卷积神经网络的、能够自动获取丰富 n-gram 特征的中文分词模型，并结合词嵌入有效地解决了单个字不足以表示完整词汇信息的问题，经过在 PKU 和 MSR 两个基准数据集的实验，该模型在两个数据集上均表现出有竞争力的性能。

Nov, 2017

具有词典知识的神经网络中文分词

本文探讨了优化中文分词的策略，两种基于神经网络的方法被提出，分别是基于伪标签数据的生成和基于多任务学习。实验结果验证了这些方法在缺乏标注数据时都能有效地提高性能。

Jul, 2018

双向 LSTM 在中文分词中的最新进展

在中文分词任务中，与更复杂的神经网络模型相比，双向 LSTM 模型结合标准深度学习技术和最佳实践能够在许多流行数据集上实现更好的精度。此外，错误分析表明，对于神经网络模型而言，词汇外的单词仍然具有挑战性，其余错误不太可能通过架构更改来修复，而是应该更加努力地探索资源以进一步提高精度。

Aug, 2018

神经序列分割作为确定最左段的方法

提出一种新颖的基于片段级别的文本分割框架，通过 LSTM 技术构建短语表示，并利用循环神经网络模型迭代确定段落最左侧的片段。实验证明，在 3 个数据集上，该方法在句法分块和中文词性标注方面取得了显著优于先前最佳模型的表现，并在建模长期依赖方面具有有效性。

Apr, 2021

中文分词的多字符嵌入

本篇论文提出一种采用多种字符嵌入的共享 Bi-LSTM-CRF 模型来进行中文分词，并在实验中证明此方法能够显著提高分词准确率，同时在 AS 和 CityU 语料库中取得了 96.9 和 97.3 的最优 F1 得分。

Aug, 2018