Sep, 2017

一个快速准确的越南语词分割器

PDF
TL;DR本文提出了一种基于单一分类涟漪向下规则方法的越南语词分割方法，该方法通过存储规则和只在现有规则给出的分割错误的基础上添加新规则来实现；在基准越南树库上的实验结果表明，与先前的 JVnSegmenter、vnTokenizer、DongDu 和 UETsegmenter 等最先进的方法相比，我们的方法在准确性和性能速度两方面均有所提高。
发现论文，激发创造
  • 从分词到词性标注 - 越南语

    本文比较了越南语标注未分割文本的两种策略：管道策略和联合策略，并且在特征模型和神经网络模型上进行了比较。经过实验证明，使用管道策略和特征模型时，能更好地识别未分割文本中的词性标记。

    Nov, 2017

  • 越南情感分类是否需要进行分词？

    本研究探讨了对于越南情感分类是否需要进行分词的问题，提出了五个使用不同分词工具预处理的越南文本的预先训练模型并通过实验结果表明使用传统的分类器无需进行分词，但在使用 BPE 方法和深度学习模型前需要进行分词，而 RDRsegmenter 是最稳定的工具。

    Jan, 2023

  • 基于 SVM 的越南语分词：减少歧义和捕获后缀

    使用支持向量机分类器的越南语单词分割方法通过采用音节的 n-gram、音节类型的 n-gram 和在词典中检查相邻音节的连接等方面，继承了以前的工作特征，提出了两种新的特征提取方法，一种是减少重叠歧义，另一种是增加预测包含后缀的未知单词的能力，在基准越南语数据集上，我们提出的方法获得了比先前最先进的方法 UETsegmenter 和 RDRsegmenter 更好的 F1 分数。

    Jun, 2020

  • VnCoreNLP: 一款越南语自然语言处理工具包

    VnCoreNLP 是一个易于使用且快速的开源 Java 自然语言处理工具包，支持越南语分词、词性标注、命名实体识别和依存句法分析，可以提供丰富的语言学注释来促进关于越南语自然语言处理的研究工作。

    Jan, 2018

  • 越南语词汇分割、词性标注和依存句法分析的神经联合模型

    本文提出了一个新的多任务学习模型，用于联合越南语词语分割、词性标注和依存句法分析，并在越南基准数据集上进行了实验，结果表明本模型具有最先进或竞争性的表现。

    Dec, 2018

  • 越南语词性标注器的实验研究

    本研究中，我们使用了 ClearNLP 和 Stanford POS Tagger 这两个广泛使用的工具包，并开发了两个新的越南语 POS 标记器，然后将它们与三个众所周知的越南标记器 JVnTagger、vnTagger 和 RDRPOSTagger 进行比较。通过系统比较，我们发现，利用新特征集构建的越南语标记器可以在标记准确性方面胜过所有其他现有的越南标记器。此外，研究结果还表明，基于转换的标记器 RDRPOSTagger 的运行速度明显快于任何其他统计标记器。

    Jun, 2022

  • 快速且准确的神经话语分割

    本文提出一种基于 BiLSTM-CRF 框架的端到端神经分割器，为了提高其准确性，我们解决了数据不足的问题，并使用自我注意机制捕捉了有用的邻域信息，实验结果表明，我们的模型在达到新的最佳性能的同时，比以前的方法快得多。

    Aug, 2018

  • 面向中文的快速准确神经分词

    本研究提出了一种贪心神经分词器，利用平衡的词和字符嵌入输入来增强现有模型的计算效率，并能在中文基准数据集上以非常高的速度和更高的准确率执行分词，从而实现真正的端到端分词。

    Apr, 2017

  • 越南依赖解析的实证研究

    本文比较了不同的依赖关系解析器对于越南语的表现，实验结果显示基于神经网络的解析器显著优于传统解析器，在标注和未标注附着得分上分别达到了 73.53% 和 80.66%，是目前公布的越南语最高的解析得分。

    Nov, 2016

  • 一夜建立梵文分词器

    提出了一种基于序列到序列模型的 Sanskrit Sandhi 文本分词方法，该模型只使用 Sandhi 化字符串作为输入，并预测正常分词的字符串，经过实验比当前最先进的模型具有更好的表现，且可在一晚上进行训练并应用于生产。

    Feb, 2018