有毒语言检测:阿拉伯数据集的系统调查
本论文介绍了一种构建阿拉伯语攻击性社交媒体贴文数据集的方法,分析了导致攻击性社交媒体贴文的因素和阿拉伯语使用攻击性语言的方式,并采用先进技术在该数据集上取得了 F1=83.2 的优秀结果。
Apr, 2020
本研究从数据驱动分析、骚扰性在线内容、数据集创建、建议和基于证据的综合等方面,系统性地评估了一种在线暴力语言数据集。通过这种基于知识的综合,我们向从事这种复杂多样数据处理的从业者提供了推荐建议。
Apr, 2020
本文介绍了一种用于识别巴西葡萄牙语社交媒体上有毒言论的新的大规模数据集,使用 monolingual 的数据,BERT 模型在二元案例中可以达到 76% 的宏平均 - F1 分数,但仍需要大规模单语数据来创建更精确的模型,并强调了开发能够区分不同类别有毒言论的模型的必要性。
Oct, 2020
本研究介绍了一个新的数据集 ToxicBias,这是从 Kaggle 竞赛中现有的数据集 “Jigsaw Unintended Bias in Toxicity Classification” 中精心策划的,旨在检测社交偏见及其类别和目标群体。我们使用我们策划的数据集对基于转换器的模型进行训练,并报告了偏见识别、目标生成和偏见影响的基线性能。研究还详细讨论了模型偏见及其缓解。
Oct, 2022
印尼互联网仇恨言论和毒性分类数据集的全面介绍以及对利用 BERT 模型和 gpt-3.5-turbo 进行情感分析的结果和注意事项。
Jun, 2024
本文描述了 'Moj Masti' 团队提出的系统,使用了 ShareChat/Moj 在 IIIT-D 多语言恶性评论识别挑战中提供的数据,重点介绍了如何利用多语言 Transformer 预训练和微调模型来处理混合代码 / 交替代码分类任务,最终在测试数据 / 排行榜上实现了平均 F-1 分数为 0.9 的最佳性能,并通过添加音译数据、集成和一些后处理技术进一步提高了系统的性能,从而将我们放在了排行榜的第一位。
Jan, 2022
本研究介绍了一种适用于任何语言的详细框架,其中包括有关有害语言检测的各个方面,同时也提出了情感分析的整合作为改进有害语言检测的新方法。通过在低资源语言中实施该框架,展示了其高效的性能,达到了 99.4% 的恶意语言检测准确率和 66.2% 的情感分析准确率。
Mar, 2024
本文使用数据科学的现代工具将原始文本转化成关键特征,并使用阈值法或学习算法对其进行分类以监控具有攻击性的网络对话,通过系统评估 62 个分类器,从 19 个主要算法组中抽取特征并分析其准确性及相对执行时间。在语法、情感、情绪以及离群字典的 28 个特征中,一个简单的脏词列表被证明是最有预测性的评价有攻击性评论的方法,其中基于树的算法提供最透明易懂的规则,并排列特征的预测贡献。
Oct, 2018
通过利用表情符号中的额外语言信息,我们提出了一种通用的、语言无关的收集攻击性和仇恨推文的方法,并在阿拉伯推文上应用和比较。我们手动注释并公开发布了最大的阿拉伯数据集,用于检测讽刺、粗俗和暴力内容,并针对不同的转换器架构和进行了深入的语言分析。我们的发现突出了攻击性通信中使用的常见单词、仇恨言论的常见目标、暴力推文中的特定模式,以及可能归因于 NLP 模型局限性的常见分类错误,并指出即使是最先进的 Transformer 模型在识别现实世界数据(如讽刺)中存在的文化、背景和语境的细微差异时也可能无法考虑到。
Jan, 2022
本研究旨在解决 Facebook 评论中的攻击性和辱骂性内容检测问题,针对阿尔及利亚方言阿拉伯语进行探讨,使用 BiLSTM,CNN,FastText,SVM 和 NB 等文本分类器进行多项实验,并建立了一个包含 8.7k 手动标注为正常,虐待和攻击性的文本的新语料库。结果表明,分类器的性能尚可,但需要进一步研究语言特征以提高识别精度。
Mar, 2022