ACLJan, 2018

VnCoreNLP: 一款越南语自然语言处理工具包

PDF
TL;DRVnCoreNLP 是一个易于使用且快速的开源 Java 自然语言处理工具包，支持越南语分词、词性标注、命名实体识别和依存句法分析，可以提供丰富的语言学注释来促进关于越南语自然语言处理的研究工作。
vncorenlpvietnamesenatural language processinglinguistic annotationsopen-source
发现论文，激发创造
  • NNVLP: 基于神经网络的越南语处理工具包

    本文介绍了神经网络基础工具集 NNVLP，主要用于越南语言处理任务，包括词性标注、分块、命名实体识别。该工具集使用双向长短期记忆网络，卷积神经网络，条件随机场，并使用预训练的词嵌入作为输入，取得了这三个任务的最新成果。我们提供了 API 和 Web 演示。

    Aug, 2017

  • PhoNLP：越南词性标注、命名实体识别和依存句法分析的联合多任务学习模型

    我们首次提出了名为 PhoNLP 的多任务学习模型，可用于联合越南文词性标注、命名实体识别和依存分析，并在越南基准数据集上表现出优秀的效果。我们将 PhoNLP 开源发布作为一个工具包，可直接应用于其他语言的研究和应用中。

    Jan, 2021

  • 越南语词性标注器的实验研究

    本研究中，我们使用了 ClearNLP 和 Stanford POS Tagger 这两个广泛使用的工具包，并开发了两个新的越南语 POS 标记器，然后将它们与三个众所周知的越南标记器 JVnTagger、vnTagger 和 RDRPOSTagger 进行比较。通过系统比较，我们发现，利用新特征集构建的越南语标记器可以在标记准确性方面胜过所有其他现有的越南标记器。此外，研究结果还表明，基于转换的标记器 RDRPOSTagger 的运行速度明显快于任何其他统计标记器。

    Jun, 2022

  • VNLP：土耳其 NLP 包

    这篇论文介绍了 VNLP：第一个专门为土耳其语设计的完整、开源、文档齐全、轻量级、成熟的自然语言处理（NLP）工具包。该工具包包含了各种各样的工具，从最简单的任务如句子分割和文本规范化，到更高级的任务如文本和标记分类模型。VNLP 的标记分类模型基于一种称为 “Context Model” 的新型架构，既是编码器又是自回归模型。VNLP 解决的 NLP 任务包括但不限于情感分析、命名实体识别、形态分析和消歧和词性标注。此外，它还提供了预训练的词嵌入和相应的 SentencePiece Unigram 标记器。VNLP 具有开源的 GitHub 仓库、ReadtheDocs 文档、PyPi 包便于安装、Python 和命令行 API 以及一个演示页面来测试所有功能。因此，我们的主要贡献是一个完整、紧凑、易于安装和使用的土耳其语 NLP 工具包。

    Mar, 2024

  • 从分词到词性标注 - 越南语

    本文比较了越南语标注未分割文本的两种策略：管道策略和联合策略，并且在特征模型和神经网络模型上进行了比较。经过实验证明，使用管道策略和特征模型时，能更好地识别未分割文本中的词性标记。

    Nov, 2017

  • 越南语词汇分割、词性标注和依存句法分析的神经联合模型

    本文提出了一个新的多任务学习模型，用于联合越南语词语分割、词性标注和依存句法分析，并在越南基准数据集上进行了实验，结果表明本模型具有最先进或竞争性的表现。

    Dec, 2018

  • 自动句法特征在越南命名实体识别中的重要性

    本论文利用双向长短时记忆（Bi-LSTM）神经网络结合自动语法特征和词嵌入，提出了一种越南命名实体识别系统，其在 2016 年由越南语言与语音处理社区（VLSP）组织的评估中实现了 92.05％的综合 F1 分数，远超过先前的命名实体识别系统。

    May, 2017

  • 使用基于 Transformer 的神经模型提升越南文本序列标注

    本文介绍了使用多语言 BERT 嵌入和一些新的神经模型，提高越南语序列标记任务的研究。我们提出了新的模型架构，在 VLSP 2016 和 VLSP 2018 两个命名实体识别数据集和 VLSP 2010 和 VLSP 2013 两个词性标记数据集上进行了广泛评估。我们的方法优于现有方法，并实现了新的最先进结果。

    Jun, 2020

  • 越南 COVID-19 命名实体识别

    本文介绍了第一个为越南语手工注释的 COVID-19 领域特定数据集，并用预训练的语言模型 Fine-tuning 进行了实验，发现自动越南语单词分割有助于提高实体识别结果，与多语种模型 XLM-R 相比，越南语单语模型 PhoBERT 表现更好。

    Apr, 2021

  • 一个快速准确的越南语词分割器

    本文提出了一种基于单一分类涟漪向下规则方法的越南语词分割方法，该方法通过存储规则和只在现有规则给出的分割错误的基础上添加新规则来实现；在基准越南树库上的实验结果表明，与先前的 JVnSegmenter、vnTokenizer、DongDu 和 UETsegmenter 等最先进的方法相比，我们的方法在准确性和性能速度两方面均有所提高。

    Sep, 2017