ACLJun, 2020

使用基于 Transformer 的神经模型提升越南文本序列标注

PDF
TL;DR本文介绍了使用多语言 BERT 嵌入和一些新的神经模型，提高越南语序列标记任务的研究。我们提出了新的模型架构，在 VLSP 2016 和 VLSP 2018 两个命名实体识别数据集和 VLSP 2010 和 VLSP 2013 两个词性标记数据集上进行了广泛评估。我们的方法优于现有方法，并实现了新的最先进结果。
mutilingual bert embeddingsneural modelssequence tagging tasksvlsp datasetspart-of-speech tagging
发现论文，激发创造
  • ViSoBERT：用于越南社交媒体文本处理的预训练语言模型

    本文介绍了首个用于越南社交媒体文本的单语言预训练语言模型 ViSoBERT，该模型使用 XLM-R 架构，在大规模高质量多样化的越南社交媒体文本语料库上进行预训练，并在越南社交媒体文本的情绪识别、仇恨言论检测、情感分析、垃圾评论检测和仇恨言论跨度检测等五个重要的自然语言下游任务中超越了之前最先进的模型。

    Oct, 2023

  • 利用 BERT 和 Transformer 进行越南语拼写纠正

    本研究结合 Transformer 架构和 BERT 提出了处理越南语拼写纠正的模型，并通过实验结果表明，该模型在此任务上优于其他方法和 Google 文档拼写检查工具，获得了 86.24 的 BLEU 分数。

    May, 2024

  • BARTPhoBEiT：面向越南视觉问答的预训练序列到序列和图像变换模型

    我们引入了一种基于 Transformer 的越南模型 BARTPhoBEiT，该模型包括了预训练的越南序列到序列和双向编码器表示，用于评估越南语 VQA 数据集，并在准确度、精确度、召回率、F1 得分、WUPS 0.0 和 WUPS 0.9 等六个指标上优于强基准模型和现有最先进模型。

    Jul, 2023

  • 越南语词汇分割、词性标注和依存句法分析的神经联合模型

    本文提出了一个新的多任务学习模型，用于联合越南语词语分割、词性标注和依存句法分析，并在越南基准数据集上进行了实验，结果表明本模型具有最先进或竞争性的表现。

    Dec, 2018

  • VLSP 2022 年 VBD-MT 中越翻译系统

    我们的研究使用了基于神经网络的 Transformer 模型和 mBART 预训练模型，在 VLSP 2022 机器翻译任务中取得了 38.9 BLEU 的中越翻译和 38.0 BLEU 的越中翻译结果，超过了多个强基准。

    Aug, 2023

  • 基于多种神经网络模型的越南社交媒体数据集的简单高效集成分类器

    使用深度学习模型和集成模型对社交媒体上的越南文本进行分类，实现了比之前研究更好的性能。

    Sep, 2020

  • PhoNLP：越南词性标注、命名实体识别和依存句法分析的联合多任务学习模型

    我们首次提出了名为 PhoNLP 的多任务学习模型，可用于联合越南文词性标注、命名实体识别和依存分析，并在越南基准数据集上表现出优秀的效果。我们将 PhoNLP 开源发布作为一个工具包，可直接应用于其他语言的研究和应用中。

    Jan, 2021

  • 使用 Swin Transformer 和 基于 Attention 的 LSTM 进行医疗领域的越南语图像字幕生成 (VieCap4H-VLSP 2021)

    本研究提出了一个在医疗保健领域中使用的自动越南语图像字幕生成模型，使用 Swin Transformer 和 LSTM 与关注模块作为编码器和解码器，最终在 VLSP Challenge 2021 中获得第三名的成绩。

    Sep, 2022

  • 针对越南评论的情感分析 BERT 微调

    本文介绍了使用 BERT fine-tuning 方法处理越南评论数据集中情感分析任务的实验结果，并且发现相比于使用 GloVe 和 FastText，使用 BERT 模型略胜一筹。同时，本文研究提出的 BERT fine-tuning 方法也比原模型表现更好。

    Nov, 2020

  • 用于越南命名实体识别的端到端循环神经网络模型：基于字级和字符级的比较

    本研究提出了一种端到端的神经网络架构，用于越南命名实体识别，最佳模型组合了双向长短时记忆神经网络、卷积神经网络、条件随机场，使用预训练的词嵌入作为输入，可在标准测试集上实现 88.59% 的 F1 分数。我们的系统能够在不使用任何句法或手工制作特征的情况下实现与 VLSP 竞选第一名系统相当的性能，同时对使用深度学习模型的越南 NER 在单词和字符级别上进行了广泛的实证研究。

    May, 2017