Apr, 2022

马拉地语中仇恨言论检测和文本分类的单语和多语 BERT 案例研究

PDF
TL;DR在本文中，我们使用 Marathi 语言的标准多语言模型和单语模型比较分析，通过五种不同的下游任务微调实验证明了单语 MahaBERT 模型的性能比多语言 BERT 变体更好。同时，我们还评估了来自这些模型的句子嵌入。
transformersnatural language processingmonolingualmultilingualmarathi
发现论文，激发创造
  • 基于 Twitter BERT 的 Marathi 语攻击性语言检测方法

    本文介绍了我们在印度低资源口语马拉地语中的 Offensive Language Identification 的工作，讨论了使用 BERT 模型进行文本分类任务以识别推文是否冒犯，比较了不同 BERT 模型在 HASOC 2022 测试集上的表现，包括从其他现有 Marathi 仇恨言论语料库 HASOC 2021 和 L3Cube-MahaHate 进行的扩充等，并且当将 MahaTweetBERT 模型在结合数据集（HASOC 2021 + HASOC 2022 + MahaHate）上进行微调时，其在 HASOC 2022 测试集上取得了 98.43 的 F1 得分，这也是 HASOC 2022 / MOLD v2 测试集的新最优表现。

    Dec, 2022

  • L3Cube-MahaHate: 基于推特的马拉提语仇恨言论检测数据集与 BERT 模型

    该研究介绍了 L3Cube-MahaHate，这是首个主要的马拉地语恶意言论数据集，收集自 Twitter 上的超过 25000 条不同推文，并基于卷积神经网络、LSTM 和 Transformers 构建基线分类模型，结果表明单语言模型胜于多语言模型，其中 MahaBERT 模型在 L3Cube-MahaHate 语料库上表现最佳。

    Mar, 2022

  • L3Cube-HindBERT 和 DevBERT：针对基于天城文的印地语和马拉提语的预训练 BERT Transformer 模型

    通过 Hindi BERT 和 Devanagari BERT 模型，我们实现了 Hindi 和 Marathi 文本分类和实体识别任务的重大改进，并在其基础上为其他 Indic 语言发布了单语 BERT 模型。

    Nov, 2022

  • 汉迪语和马拉提语命名实体识别中的单语 BERT 与多语 BERT 对比研究

    本文研究低资源印度语言 Hindi 和 Marathi 的命名实体识别 (NER)，使用 base-BERT，RoBERTa 和 AlBERT 等变体进行了基准测试，并在不同单语和多语 Transformer 模型之间进行了详细比较，发现 MahaRoBERTa 单语模型在 Marathi NER 方面表现最佳，而多语言 XLM-RoBERTa 在 Hindi NER 方面表现最佳。文中还进行了跨语言评估和提出了简单基线。

    Mar, 2022

  • L3Cube-MahaSBERT 和 HindSBERT：用于印地语和马拉地语的句子 BERT 模型和评估 BERT 句子表示的基准

    本文介绍了使用合成的 NLI 和 STS 数据集，针对印地语和马拉地语这两种低资源语言，使用 NLI 预训练和 STSb 微调策略训练生成的高性能 Sentence-BERT 模型，并在下游文本分类和相似性任务中进行了评估。同时，提出了基于不同模型的句子嵌入的比较分析，并释放了 L3Cube-MahaSBERT 和 HindSBERT。

    Nov, 2022

  • L3Cube-MahaCorpus 和 MahaBERT：马拉提语单语语料库、马拉提 BERT 语言模型和资源

    该研究介绍了 L3Cube-MahaCorpus，这是一个从不同互联网来源抓取的马拉提语单语数据集，它包含 24.8M 句子和 289M 个记号。该研究基于这个数据集训练了多个模型，如 MahaBERT、MahaAlBERT、MahaRoBerta 和 MahaFT 等，并且展示了它们在下游任务中的有效性。这项工作是为了为马拉提语的开放资源建立一步。

    Feb, 2022

  • 探索基于 Transformer 的模型以识别英语和印度雅利安语中的仇恨言论和攻击性内容

    本篇论文探索了基于 Transformer 的多种机器学习模型，用于探测英语和印度 - 雅利安语中的仇恨言论和冒犯性内容，研究团队 “超级马里奥” 采用 mBERT、XLMR-large、XLMR-base 等多种模型，我们在 Code-Mixed 数据集排名第二（宏平均 F1：0.7107）、在印地语二分类中排名第二（宏平均 F1：0.7797）、在英语四分类中排名第四（宏平均 F1：0.8006），在英语二分类中排名第十二（宏平均 F1：0.6447）。

    Nov, 2021

  • 预训练 BERT 模型在印地语 - 英语混合数据中的比较研究

    本研究专注于解决 “Code Mixed” 现象在低资源的印地语 - 英语多语混合情况下对自然语言处理所带来的问题，并通过使用预训练的 Transformer-based Models 模型，重点比较分析了 HingBERT、mBERT、AlBERT、BERT 和 RoBERTa 等不同模型的性能。研究结果显示，HingBERT 模型在实际 “Code Mixed” 文本训练的情况下取得了最优秀的表现与较大的性能提升。

    May, 2023

  • 利用预训练的句子变换器在印度语言中进行冒犯性语言检测

    我们的研究探讨了恶意言论检测领域，特别关注孟加拉语、阿萨姆语和古吉拉特语这三种资源匮乏的印度语言。我们通过 HASOC 2023 数据集对预训练的 BERT 和 SBERT 模型进行微调，评估它们在恶意言论识别中的有效性。研究发现，单语句 BERT 模型表现出卓越的优势，特别是在孟加拉语方面表现最佳。然而，阿萨姆语和古吉拉特语的性能仍有改进的机会。我们的目标是通过打击恶意言论的泛滥来促进包容性的在线空间。

    Oct, 2023

  • L3Cube-MahaNews：马拉地语基于新闻的短文本和长文档分类数据集

    我们介绍了 L3Cube-MahaNews，这是一个关注新闻标题和文章的最大的监督式马拉地语文本分类语料库，包含超过 1.05L 条记录，分为 12 个不同类别的多样性范围。我们提供了使用最先进的预训练 BERT 模型在这些数据集上的详细统计数据和基线结果。在各个数据集上，单一语言的 MahaBERT 模型的性能都优于其他模型。这些资源也可用作马拉地语主题分类数据集或模型，并可在此 https URL 中公开获取。

    Apr, 2024