Jul, 2019

自我关注网络在中文分词中的应用研究

PDF
TL;DR研究了自注意网络和 BERT 对中文分词任务的影响，提出了将词信息集成到自注意网络中的方法，并展示了该方法在 6 个领域基准测试中的最佳结果。
chinese word segmentationneural networkself attention networkbertcontextualized character embeddings
发现论文，激发创造
  • 基于注意力机制的神经文本分割

    本文提出了一种基于注意力机制的双向 LSTM 模型，使用卷积神经网络学习句子嵌入，利用上下文信息预测文本分段，相比现有的竞争基准方法，在三个基准数据集上的 WinDiff 分数提高了约 7%。

    Aug, 2018

  • 中文神经分词学习

    本文提出了一种新颖的神经网络框架，利用门控组合神经网络和 LSTM 语言评分模型，消除上下文窗口，可以利用完整的分词历史，产生分布式表示，从而实现中文分词，并在基准数据集上进行实验，结果不需要使用现有方法的特征工程，获得了与现有最先进方法相当甚至更好的性能。

    Jun, 2016

  • 神经主题分割中上下文建模的改进

    本文提出了一个基于层级注意力双向 LSTM 网络的主题分割器，通过添加相干性相关的辅助任务和受限制自注意力来更好地建模上下文，从而超过了 SOTA 方法，并在领域转移设置中证明了其鲁棒性和在多语言场景中的有效性。

    Oct, 2020

  • 自注意力：情感分析神经网络分类器的更好构建块

    本文探讨了使用自注意网络 (Self-Attention Networks) 进行情感分析的有效性，发现相较于循环神经网络 (RNNs) 和卷积神经网络 (CNNs)，使用自注意网络在分类准确率、训练速度和内存消耗方面表现优越，并研究了多头注意力和序列位置信息等方面的改进效果。

    Dec, 2018

  • 双向 LSTM 在中文分词中的最新进展

    在中文分词任务中，与更复杂的神经网络模型相比，双向 LSTM 模型结合标准深度学习技术和最佳实践能够在许多流行数据集上实现更好的精度。此外，错误分析表明，对于神经网络模型而言，词汇外的单词仍然具有挑战性，其余错误不太可能通过架构更改来修复，而是应该更加努力地探索资源以进一步提高精度。

    Aug, 2018

  • 基于有向无环图的长短时记忆网络用于语言分词

    本文介绍了一种新型神经模型，通过在有向无环图上使用长短时记忆网络来整合单词级别信息，结合预训练的字符或单词嵌入向量，实现了比基准模型更好的中文分词表现。

    Jul, 2017

  • 神经网络中的中文分词：序列到序列翻译模型

    提出了一种基于注意力机制编码解码框架的序列到序列的中文分词模型，拥有全局信息和多任务融合的能力，并在微博、北大和微软亚洲等数据集上取得了与最先进方法相当的竞争性能。

    Nov, 2019

  • 中文分词的双向 LSTM 循环神经网络

    本文研究了使用双向长短时记忆循环神经网络进行中文分词的方法，实验结果表明，该方法在传统和简体中文数据集上均取得了最佳的性能。

    Feb, 2016

  • 分层细化标签注意力网络用于序列标注

    提出一种基于层级注意力机制的标签嵌入模型，较传统的 BiLSTM-CRF 有更好的标签序列表示性能，能显著提高词性标注、实体识别和语法标记任务的标注效果并缩短训练和测试时间。

    Aug, 2019

  • 注意力机制对中文分词的影响

    本研究采用贪婪解码算法，侧重于进一步加强中文分词模型本身，在保持更高速、更准确性的情况下，提出了一个基于变型 Transformer 和双仿生注意力评分器构建的编码器模型，以及高速分词的轻量化解码器模型。实验结果表明，该模型在语义切分速度最快的情况下，可以在与强基线模型比较的同时达到新的最佳性能水平。

    Oct, 2019