ACLJan, 2021

PhoNLP：越南词性标注、命名实体识别和依存句法分析的联合多任务学习模型

PDF
TL;DR我们首次提出了名为 PhoNLP 的多任务学习模型，可用于联合越南文词性标注、命名实体识别和依存分析，并在越南基准数据集上表现出优秀的效果。我们将 PhoNLP 开源发布作为一个工具包，可直接应用于其他语言的研究和应用中。
发现论文，激发创造
  • PhoBERT：越南语预训练语言模型

    PhoBERT 是第一个用于越南语的公开大规模单语言模型，实验结果表明，PhoBERT 在多个越南特定的自然语言处理任务中表现优异，胜过最近最好的预训练多语种模型 XLM-R，我们发布了 PhoBERT 以促进未来的越南语自然语言处理研究和下游应用。

    Mar, 2020

  • 越南语词汇分割、词性标注和依存句法分析的神经联合模型

    本文提出了一个新的多任务学习模型，用于联合越南语词语分割、词性标注和依存句法分析，并在越南基准数据集上进行了实验，结果表明本模型具有最先进或竞争性的表现。

    Dec, 2018

  • VnCoreNLP: 一款越南语自然语言处理工具包

    VnCoreNLP 是一个易于使用且快速的开源 Java 自然语言处理工具包，支持越南语分词、词性标注、命名实体识别和依存句法分析，可以提供丰富的语言学注释来促进关于越南语自然语言处理的研究工作。

    Jan, 2018

  • NNVLP: 基于神经网络的越南语处理工具包

    本文介绍了神经网络基础工具集 NNVLP，主要用于越南语言处理任务，包括词性标注、分块、命名实体识别。该工具集使用双向长短期记忆网络，卷积神经网络，条件随机场，并使用预训练的词嵌入作为输入，取得了这三个任务的最新成果。我们提供了 API 和 Web 演示。

    Aug, 2017

  • 使用基于 Transformer 的神经模型提升越南文本序列标注

    本文介绍了使用多语言 BERT 嵌入和一些新的神经模型，提高越南语序列标记任务的研究。我们提出了新的模型架构，在 VLSP 2016 和 VLSP 2018 两个命名实体识别数据集和 VLSP 2010 和 VLSP 2013 两个词性标记数据集上进行了广泛评估。我们的方法优于现有方法，并实现了新的最先进结果。

    Jun, 2020

  • 越南语词性标注器的实验研究

    本研究中，我们使用了 ClearNLP 和 Stanford POS Tagger 这两个广泛使用的工具包，并开发了两个新的越南语 POS 标记器，然后将它们与三个众所周知的越南标记器 JVnTagger、vnTagger 和 RDRPOSTagger 进行比较。通过系统比较，我们发现，利用新特征集构建的越南语标记器可以在标记准确性方面胜过所有其他现有的越南标记器。此外，研究结果还表明，基于转换的标记器 RDRPOSTagger 的运行速度明显快于任何其他统计标记器。

    Jun, 2022

  • PhoGPT：越南语生成预训练

    我们为越南语开源了一种最先进的 7.5B 参数生成模型系列 PhoGPT，包括基础的预训练单语模型 PhoGPT-7B5 及其指令遵循变体 PhoGPT-7B5-Instruct。此外，通过人工评估实验，我们还展示了其比以前的开源模型表现出更高的性能。

    Nov, 2023

  • 从分词到词性标注 - 越南语

    本文比较了越南语标注未分割文本的两种策略：管道策略和联合策略，并且在特征模型和神经网络模型上进行了比较。经过实验证明，使用管道策略和特征模型时，能更好地识别未分割文本中的词性标记。

    Nov, 2017

  • ViSoBERT：用于越南社交媒体文本处理的预训练语言模型

    本文介绍了首个用于越南社交媒体文本的单语言预训练语言模型 ViSoBERT，该模型使用 XLM-R 架构，在大规模高质量多样化的越南社交媒体文本语料库上进行预训练，并在越南社交媒体文本的情绪识别、仇恨言论检测、情感分析、垃圾评论检测和仇恨言论跨度检测等五个重要的自然语言下游任务中超越了之前最先进的模型。

    Oct, 2023

  • BARTpho: 为越南语预训练的序列到序列模型

    本文介绍了两个版本的 BARTpho 模型：BARTpho-syllable 和 BARTpho-word，这两个模型是首个由越南语言训练的公共大规模单语序列到序列模型，使用 BART 的预训练机制，适用于生成式自然语言处理任务。在越南文本摘要等下游任务中，BARTpho 比强基线 mBART 表现更好，进一步在越南大写字母和标点符号恢复任务中表现更为有效。

    Sep, 2021