Sep, 2023

使用 BERT 的希伯来语冒犯语料库和检测

PDF
TL;DR在本研究中，我们提供了希伯来语的新冒犯性语言语料库，使用推特上的 15,881 条推文，并由阿拉伯 - 希伯来双语人士对其进行了五个类别（辱骂、仇恨、暴力、色情或无冒犯）的标注，我们使用我们提出的数据集和另一个已发布的数据集对两个希伯来语 BERT 模型（HeBERT 和 AlephBERT）进行了微调，观察到我们的数据与 D_OLaH 相结合可以将 HeBERT 的性能提升 2％。将 AlephBERT 在我们的数据上进行微调并在 D_OLaH 上进行测试，准确率达到了 69％，而在 D_OLaH 上进行微调并在我们的数据上进行测试，准确率达到了 57％，这可能意味着我们提供的数据的通用性。我们的数据集和微调模型已在 GitHub 和 Huggingface 上提供。
offensive language detectionlow-resource languageshebrew corpushebertalephbert
发现论文，激发创造
  • 基于 Twitter BERT 的 Marathi 语攻击性语言检测方法

    本文介绍了我们在印度低资源口语马拉地语中的 Offensive Language Identification 的工作，讨论了使用 BERT 模型进行文本分类任务以识别推文是否冒犯，比较了不同 BERT 模型在 HASOC 2022 测试集上的表现，包括从其他现有 Marathi 仇恨言论语料库 HASOC 2021 和 L3Cube-MahaHate 进行的扩充等，并且当将 MahaTweetBERT 模型在结合数据集（HASOC 2021 + HASOC 2022 + MahaHate）上进行微调时，其在 HASOC 2022 测试集上取得了 98.43 的 F1 得分，这也是 HASOC 2022 / MOLD v2 测试集的新最优表现。

    Dec, 2022

  • 基于 BERT 的阿拉伯语攻击性语言检测系统微调方法

    研究旨在通过应用最新技术，检测网络攻击性言论，保护在线社区成员并维护社会公正。通过对多个阿拉伯语攻击性言论数据集的微调，研究探究了微调对分类器的效果，结果表明，特别是在高方言评论方面，传递学习对分类器的性能有限影响。

    Feb, 2022

  • 推特上的阿拉伯攻击性言论：分析与实验

    本论文介绍了一种构建阿拉伯语攻击性社交媒体贴文数据集的方法，分析了导致攻击性社交媒体贴文的因素和阿拉伯语使用攻击性语言的方式，并采用先进技术在该数据集上取得了 F1=83.2 的优秀结果。

    Apr, 2020

  • 低资源语言的多语种攻击性语言识别

    通过跨语境词嵌入和迁移学习，将预测扩展到低资源语言中，为即将面临的恶意内容提供了解决方案。

    May, 2021

  • Kungfupanda 于 SemEval-2020 12 任务：基于 BERT 的多任务学习用于冒犯性语言检测

    本篇研究论文针对社交媒体中的攻击性内容建立一个结合多任务学习和以 BERT 为基础的模型的系统，利用预训练的 BERT 语言模型有效地学习社交媒体中包含噪音的文本的表示，同时利用其他相关任务的监督信号来提高攻击性语言检测的性能，在 OffensEval-2020 比赛中，我们的模型在英文子任务 A 中达到了 91.51％的 F1 得分，相当于第一名（92.23％F1），同时提供了经验分析来解释我们方法的有效性。

    Apr, 2020

  • AlexU-AIC 参加 2022 阿拉伯语仇恨言论：对比分类

    本篇研究介绍了使用阿拉伯语推特数据集提交阿拉伯语言仇恨言论 2022 共享任务的解决方案。为了解决细粒度仇恨言论检测中过度拟合的问题，研究人员探究了多种训练模式，如对比学习和多任务学习，最终使用分类微调和五种模型的集成，取得了良好的性能。 在子任务 A，B 和 C 中分别实现了 0.841，0.817 和 0.476 的宏 F1 平均分数。

    Jul, 2022

  • 以表情符号为锚点检测阿拉伯语攻击性语言和仇恨言论

    通过利用表情符号中的额外语言信息，我们提出了一种通用的、语言无关的收集攻击性和仇恨推文的方法，并在阿拉伯推文上应用和比较。我们手动注释并公开发布了最大的阿拉伯数据集，用于检测讽刺、粗俗和暴力内容，并针对不同的转换器架构和进行了深入的语言分析。我们的发现突出了攻击性通信中使用的常见单词、仇恨言论的常见目标、暴力推文中的特定模式，以及可能归因于 NLP 模型局限性的常见分类错误，并指出即使是最先进的 Transformer 模型在识别现实世界数据（如讽刺）中存在的文化、背景和语境的细微差异时也可能无法考虑到。

    Jan, 2022

  • 基于 BERT 的集成方法用于仇恨言论检测

    本文聚焦于利用包括 BERT 在内的多个深度模型以及集成学习等技术，对社交媒体上的仇恨言论进行分类，使用三个公开 Twitter 数据集进行实验并考察多种方法的分类性能，最终以新数据集 DHO 进行多标签分类，取得了不错的成果，尤其在集成学习方面表现良好，如在 Davidson 数据集上采用 stacking 技术得到了 97% 的 F1 得分，而在 DHO 数据集上汇聚集成学习技术得到了 77% 的 F1 得分。

    Sep, 2022

  • 利用多语言转换器来进行仇恨言论检测

    该论文基于 Transformer 语言模型，研究了在社交媒体文本中检测和分类仇恨的问题，并将其固定为三类，同时证明了多语言训练模式的有效性和特定特征对体系结构分类表现的影响。

    Jan, 2021

  • AlephBERT：一个适用于希伯来自然语言处理应用的大型预训练语言模型

    本文介绍了 AlephBERT，一个用于现代希伯来语的大型预训练语言模型，使用该模型在多个希伯来语任务和基准测试中提供了新的最先进结果，包括分词、词性标注、完整的形态标注、命名实体识别和情感分析，并公开了模型。

    Apr, 2021