ACLSep, 2022

SMTCE：越南社交媒体文本分类评估基准和 BERTology 模型

PDF
TL;DR该研究介绍了 Social Media Text Classification Evaluation (SMTCE) 基准并使用各种多语言和单语 BERT-based 模型对多个 SMTC 任务进行了实现和分析。结果表明，单语言模型优于多语言模型，并在所有文本分类任务上取得了最先进的结果，这将有助于越来越多关于越南语 BERT 学习的未来研究。
social media text classificationvietnamese languagebert-based modelsmonolingual modelsbenchmark
发现论文，激发创造
  • ViSoBERT：用于越南社交媒体文本处理的预训练语言模型

    本文介绍了首个用于越南社交媒体文本的单语言预训练语言模型 ViSoBERT，该模型使用 XLM-R 架构，在大规模高质量多样化的越南社交媒体文本语料库上进行预训练，并在越南社交媒体文本的情绪识别、仇恨言论检测、情感分析、垃圾评论检测和仇恨言论跨度检测等五个重要的自然语言下游任务中超越了之前最先进的模型。

    Oct, 2023

  • 基于多种神经网络模型的越南社交媒体数据集的简单高效集成分类器

    使用深度学习模型和集成模型对社交媒体上的越南文本进行分类，实现了比之前研究更好的性能。

    Sep, 2020

  • 利用越南社交媒体特征进行越南文本情感识别

    研究表明，适当的基于越南社交媒体特征的预处理技术结合情感上下文的关键子句提取，可显著提高 MLR 的性能，达到最佳 F1 得分 64.40%, 比 UIT-VSMEC 作者构建的 CNN 模型 (59.74%) 提高了 4.66%。

    Sep, 2020

  • 使用基于 Transformer 的神经模型提升越南文本序列标注

    本文介绍了使用多语言 BERT 嵌入和一些新的神经模型，提高越南语序列标记任务的研究。我们提出了新的模型架构，在 VLSP 2016 和 VLSP 2018 两个命名实体识别数据集和 VLSP 2010 和 VLSP 2013 两个词性标记数据集上进行了广泛评估。我们的方法优于现有方法，并实现了新的最先进结果。

    Jun, 2020

  • 针对越南评论的情感分析 BERT 微调

    本文介绍了使用 BERT fine-tuning 方法处理越南评论数据集中情感分析任务的实验结果，并且发现相比于使用 GloVe 和 FastText，使用 BERT 模型略胜一筹。同时，本文研究提出的 BERT fine-tuning 方法也比原模型表现更好。

    Nov, 2020

  • 为机器翻译学习紧凑的度量

    使用 RemBERT 模型的实验表明，模型大小限制了跨语言转换的效率，将知识从一名教师传递到以相关语言训练的多个学生可以通过蒸馏解决这个问题，该方法可以使性能提高 10.5％，并仅使用 RemBERT 的三分之一的参数即可达到 92.6％的性能。

    Oct, 2021

  • SMILE：社交媒体语言理解的评估和领域自适应

    本文探讨了基于 Transformer 的语言模型对社交媒体语言的理解能力，提出了适用于四个社交媒体平台的 SMILE 评估基准，并展示使用混合社交媒体语言和传统语言进行分词和预训练的 LM 性能优于其他同规模的语言模型 4.2 分。

    Jun, 2023

  • 8192 个标记双语文本嵌入的多任务对比学习

    该研究介绍了一套新颖的双语文本嵌入模型，能够处理长度长达 8192 个标记的文本输入，支持英语和目标语言，适用于文本检索、聚类和语义文本相似性计算等自然语言处理任务。通过专注于双语模型和引入独特的多任务学习目标，研究提高了 STS 任务模型性能，在目标语言理解和跨语言评估任务方面超过现有的多语言模型能力。此外，这些双语模型更高效，需要较少的参数和内存，因为它们具有较小的词汇需求。研究还扩展了大规模文本嵌入基准 (MTEB)，加入了德语和西班牙语嵌入模型的基准，旨在促进这些语言的文本嵌入技术的进一步研究和发展。

    Feb, 2024

  • ViCGCN：用上下文化语言模型的图卷积网络在越南社交媒体挖掘中的应用

    社交媒体处理是自然语言处理中的基本任务之一，该研究论文提出了一种利用上下文化语言模型和图卷积网络的创新方法 ViCGCN，以解决越南社交媒体中的数据不平衡和噪声问题，并通过在多个越南基准数据集上的实验证明了其优越性。

    Sep, 2023

  • 越南社交媒体文本的情绪识别

    通过构建一个包含 6927 个情感标注句子的越南社交媒体情感语料库，我们在情感识别领域探究了机器学习和深度神经网络模型的表现，发现使用 CNN 模型的全重 F1 - 分数最高可达 59.74%。

    Nov, 2019