ACLDec, 2021

基于二阶段跨度标注的中文分词与词性标注

PDF
TL;DR提出了一种名为 SpanSegTag 的神经模型，采用跨度标记跟踪每个中文单词和其分词标记的概率，利用相邻字符的左右边界表示的双交注意力机制学习字符的 n-gram 特征，在中文分词和词性标注方面显著优于以 BERT 或 ZEN 编码器为基础的现有技术。
chinese word segmentationpart-of-speech taggingneural modelspan labelingbert-based model
发现论文，激发创造
  • 中文分词与基于跨度的短语结构分析联合

    提出了一种方法，通过将额外标签添加到语法分析树中的每个中文字符，来联合进行中文分词和基于跨度的语法成分分析，实验证明该算法在 CTB5.1 上优于最近的联合分词和语法成分分析模型。

    Nov, 2022

  • 一个特征丰富的神经模型用于中文分词和词性标注

    本文提出了用于中文分词和词性标注任务的特征丰富的神经模型，使用卷积和池化层模拟传统离散特征模型的特征模板，并结合循环层使用长距离依赖信息。实验结果表明，该模型的效果显著。

    Nov, 2016

  • 利用词语分割表示学习提高中文社交媒体名称实体识别

    本文研究利用神经网络模型共同训练中文社交媒体的命名实体识别（NER）和分词（word segmentation）任务，与之前的研究相比，使用 LSTM-CRF 模型得到了将近 5% 的显著提高。

    Mar, 2016

  • 运用远程监督的古代汉语词语切分与词性标注

    本文提出了一种新的远程监督方法来增加古代汉语分词和词性标注的数据，利用深度神经网络的记忆效应和少量已注释数据来重新标记句子，以解决远程监督中不可避免的错误和未标记的问题，取得了优异的分词效果。

    Mar, 2023

  • 联合中文分词和依存句法分析的基于图的模型

    本文提出了一种基于图形的模型来集成中文分词和依赖分析，相较于之前基于转移的联合模型，我们的模型更简洁，从而在中文分词和依赖分析方面取得了更好的性能，并且当结合 BERT 时，我们的模型可以显著减少联合模型和基于黄金分割词的模型之间的性能差距。

    Apr, 2019

  • 使用双向 RNN-CRF 实现基于字的中文联合分词与词性标注

    我们提出了一个基于字符的模型来同时进行中文分词和词性标注，该模型采用双向 RNN-CRF 架构进行序列标记，并利用捕捉丰富上下文信息和低于字符级别的特征的新型向量表示的汉字。实验结果表明，我们的模型在不同大小、文体和注释方案的数据集上都很准确和稳健，在 CTB5 上实现了最佳性能，联合分词和词性标注的 F1 分数达到了 94.38。

    Apr, 2017

  • 中文神经分词学习

    本文提出了一种新颖的神经网络框架，利用门控组合神经网络和 LSTM 语言评分模型，消除上下文窗口，可以利用完整的分词历史，产生分布式表示，从而实现中文分词，并在基准数据集上进行实验，结果不需要使用现有方法的特征工程，获得了与现有最先进方法相当甚至更好的性能。

    Jun, 2016

  • 阿拉伯语言相关分词的挑战：机器翻译和词性标注的应用

    本研究探讨用数据驱动的子字单元、字符和卷积神经网络（CNN）学习的单词嵌入来替代传统的形态学分割，实现阿拉伯语自然语言处理（NLP）中的词分割。实验表明，这些方法在机器翻译和词性标注任务中，可以达到接近或超过最先进性能。同时，研究揭示神经机器翻译系统对源和目标令牌的比值敏感，接近 1 或更大的比值有最佳性能。

    Sep, 2017

  • 从分词到词性标注 - 越南语

    本文比较了越南语标注未分割文本的两种策略：管道策略和联合策略，并且在特征模型和神经网络模型上进行了比较。经过实验证明，使用管道策略和特征模型时，能更好地识别未分割文本中的词性标记。

    Nov, 2017

  • 古代汉语 CWS 和 POS 的基于不确定性的检索框架

    提出古代汉语词分割和词性标注框架，通过捕捉词性语义和引入外部知识重新预测基线模型的不确定样本，有效提升性能。

    Oct, 2023