社交媒体上冒犯内容的普遍存在是公司和政府组织越来越关注的问题。本研究提出了第一个具有编码器 - 解码器结构的预训练模型，用于冒犯语言识别，并在两个大型冒犯语言识别数据集（SOLID 和 CCTK）上训练。研究结果表明，预训练的 T5 模型在多个英文基准测试中优于其他基于变压器的模型，在多语言场景中，多语言预训练模型在所有上述数据集上实现了新的最优表现。

Dec, 2023

本篇研究论文针对社交媒体中的攻击性内容建立一个结合多任务学习和以 BERT 为基础的模型的系统，利用预训练的 BERT 语言模型有效地学习社交媒体中包含噪音的文本的表示，同时利用其他相关任务的监督信号来提高攻击性语言检测的性能，在 OffensEval-2020 比赛中，我们的模型在英文子任务 A 中达到了 91.51％的 F1 得分，相当于第一名（92.23％F1），同时提供了经验分析来解释我们方法的有效性。

Apr, 2020

本篇论文探索了基于 Transformer 的多种机器学习模型，用于探测英语和印度 - 雅利安语中的仇恨言论和冒犯性内容，研究团队 “超级马里奥” 采用 mBERT、XLMR-large、XLMR-base 等多种模型，我们在 Code-Mixed 数据集排名第二（宏平均 F1：0.7107）、在印地语二分类中排名第二（宏平均 F1：0.7797）、在英语四分类中排名第四（宏平均 F1：0.8006），在英语二分类中排名第十二（宏平均 F1：0.6447）。

Nov, 2021

本研究提出了一种基于 BERT 和 Transfer Learning 的新型方案，以捕获社交媒体内容中的仇恨语境，并证明该方案能有效解决标注数据不足和存在偏差的问题，使得模型性能得到提升。

Oct, 2019

本文介绍了使用预训练 BERT 模型与卷积神经网络，处理 OffensEval 2020 任务 A（多语言攻击性语言识别）子任务的方法，并表明结合 CNN 和 BERT 比仅使用 BERT 更好，强调了利用预训练语言模型进行下游任务的重要性。我们排名第四，在阿拉伯语平均宏 F1 得分为 0.897，在希腊语得分为 0.843，在土耳其语得分为 0.814。另外，我们介绍了 ArabicBERT，一组针对阿拉伯语的预训练 transformer 语言模型，并与社区分享。

Jul, 2020

本文介绍了 TU Berlin 小组在 2021 年印欧语言仇恨言论与攻击性内容检测共享任务的 1A 和 1B 子任务中采用的不同自然语言处理模型，包括基于循环神经网络的单词和字符级别模型以及基于 Bert 的转移学习方法，并评估了不同模型在比赛中的表现。结果表明，基于转移学习的模型在两个子任务中均取得了最佳结果。

Jan, 2022

本文采用预训练 transformer 网络，使用无监督的 MLM 任务进行微调，提高该网络在检测攻击性语言的任务上的性能，取得可观的成果。

Apr, 2020

本文聚焦于利用包括 BERT 在内的多个深度模型以及集成学习等技术，对社交媒体上的仇恨言论进行分类，使用三个公开 Twitter 数据集进行实验并考察多种方法的分类性能，最终以新数据集 DHO 进行多标签分类，取得了不错的成果，尤其在集成学习方面表现良好，如在 Davidson 数据集上采用 stacking 技术得到了 97% 的 F1 得分，而在 DHO 数据集上汇聚集成学习技术得到了 77% 的 F1 得分。

Sep, 2022

研究旨在通过应用最新技术，检测网络攻击性言论，保护在线社区成员并维护社会公正。通过对多个阿拉伯语攻击性言论数据集的微调，研究探究了微调对分类器的效果，结果表明，特别是在高方言评论方面，传递学习对分类器的性能有限影响。

Feb, 2022

本论文提出了一种多语言自动化系统，使用机器学习和转换器来从混合语言的数据中识别带有冒犯性的文本，并在 Tamil、Malayalam 和 Kannada 三种语言的数据集上进行了测试。结果表明，该系统在不同语言上表现出不同的最佳表现方法，得分最高的是 m-BERT（Kannada）和 XLM-R（Tamil 和 Malayalam），系统性能达到了一定的水平。

Feb, 2021