本篇研究论文针对社交媒体中的攻击性内容建立一个结合多任务学习和以 BERT 为基础的模型的系统，利用预训练的 BERT 语言模型有效地学习社交媒体中包含噪音的文本的表示，同时利用其他相关任务的监督信号来提高攻击性语言检测的性能，在 OffensEval-2020 比赛中，我们的模型在英文子任务 A 中达到了 91.51％的 F1 得分，相当于第一名（92.23％F1），同时提供了经验分析来解释我们方法的有效性。

Apr, 2020

在本研究中，我们提供了希伯来语的新冒犯性语言语料库，使用推特上的 15,881 条推文，并由阿拉伯 - 希伯来双语人士对其进行了五个类别（辱骂、仇恨、暴力、色情或无冒犯）的标注，我们使用我们提出的数据集和另一个已发布的数据集对两个希伯来语 BERT 模型（HeBERT 和 AlephBERT）进行了微调，观察到我们的数据与 D_OLaH 相结合可以将 HeBERT 的性能提升 2％。将 AlephBERT 在我们的数据上进行微调并在 D_OLaH 上进行测试，准确率达到了 69％，而在 D_OLaH 上进行微调并在我们的数据上进行测试，准确率达到了 57％，这可能意味着我们提供的数据的通用性。我们的数据集和微调模型已在 GitHub 和 Huggingface 上提供。

Sep, 2023

本研究提出了一种基于 BERT 和 Transfer Learning 的新型方案，以捕获社交媒体内容中的仇恨语境，并证明该方案能有效解决标注数据不足和存在偏差的问题，使得模型性能得到提升。

Oct, 2019

本文介绍了使用预训练 BERT 模型与卷积神经网络，处理 OffensEval 2020 任务 A（多语言攻击性语言识别）子任务的方法，并表明结合 CNN 和 BERT 比仅使用 BERT 更好，强调了利用预训练语言模型进行下游任务的重要性。我们排名第四，在阿拉伯语平均宏 F1 得分为 0.897，在希腊语得分为 0.843，在土耳其语得分为 0.814。另外，我们介绍了 ArabicBERT，一组针对阿拉伯语的预训练 transformer 语言模型，并与社区分享。

Jul, 2020

本文采用预训练 transformer 网络，使用无监督的 MLM 任务进行微调，提高该网络在检测攻击性语言的任务上的性能，取得可观的成果。

Apr, 2020

本篇研究介绍了使用阿拉伯语推特数据集提交阿拉伯语言仇恨言论 2022 共享任务的解决方案。为了解决细粒度仇恨言论检测中过度拟合的问题，研究人员探究了多种训练模式，如对比学习和多任务学习，最终使用分类微调和五种模型的集成，取得了良好的性能。 在子任务 A，B 和 C 中分别实现了 0.841，0.817 和 0.476 的宏 F1 平均分数。

Jul, 2022

本研究旨在解决 Facebook 评论中的攻击性和辱骂性内容检测问题，针对阿尔及利亚方言阿拉伯语进行探讨，使用 BiLSTM，CNN，FastText，SVM 和 NB 等文本分类器进行多项实验，并建立了一个包含 8.7k 手动标注为正常，虐待和攻击性的文本的新语料库。结果表明，分类器的性能尚可，但需要进一步研究语言特征以提高识别精度。

Mar, 2022

本文介绍了一种使用 fine-tuning 方法构建阿拉伯语文本摘要模型的方法，并且展示了该模型在抽取式和文本生成式摘要任务中的性能，同时还展示了该模型在多语种语料库上的性能表现。

Mar, 2020

本论文介绍了一种构建阿拉伯语攻击性社交媒体贴文数据集的方法，分析了导致攻击性社交媒体贴文的因素和阿拉伯语使用攻击性语言的方式，并采用先进技术在该数据集上取得了 F1=83.2 的优秀结果。

Apr, 2020

通过使用预训练语言模型 BERT 进行迁移学习，本文提出了一种在推特上进行种族主义、性别主义、仇恨性或冒犯性内容检测的算法，并将对算法进行合理地裁剪降低出现倾向性的缺陷。

Aug, 2020