SOLD：僧伽罗语攻击性语言数据集

Dec, 2022

SOLD: Sinhala Offensive Language Dataset

Tharindu Ranasinghe, Isuri Anuradha, Damith Premasiri, Kanishka Silva, Hansi Hettiarachchi...

TL;DR本研究针对斯里兰卡使用人数超过 1700 万的 Sinhala 语，开发了一个手工注释的数据集 SOLD，和一个更大的半监督数据集 SemiSOLD，用以改进机器学习模型鉴别 Sinhala 语的具有攻击性的语言的能力。

Abstract

The widespread of offensive content online, such as hate speech and cyber-bullying, is a global phenomenon. This has sparked interest in the artificial intelligence (AI) and natural language processing (NLP) communities, motivating the development of various systems trained to detect potentially harmful content automatically. These systems require annotated

offensive language identification sinhala language annotated dataset machine learning models semi-supervised approach

发现论文，激发创造

预测马拉提语攻击性社交媒体帖子的类型和目标

这篇研究针对印度的低资源印度－雅利安语言 Marathi 进行防御性语言识别研究，介绍了 Marathi Offensive Language Dataset v.2.0（MOLD 2.0）数据集，并通过多次实验对此数据集进行了分析。

Nov, 2022

SOLID: 一个大规模半监督的辱骂语言识别数据集

本论文扩展了 OLID 数据集，提出了一个新的名为 SOLID 的数据集，其中包含九百多万英语推文，标记为准半监督方式，使用 SOLID 和 OLID 组合可以获得相当大的性能提升，尤其是在分类学的较低层面。

Apr, 2020

希腊语中的攻击性语言识别

该研究针对互联网社区和社交媒体平台中的恶意内容问题，在英语研究有限的情况下，通过希腊注释数据集 OGTD，评估了几个计算模型，以便识别 Twitter 上的带攻击性的帖子和不带攻击性的帖子。

Mar, 2020

一个用于豪萨、约鲁巴和伊博语言的冒犯性语言和仇恨言论检测的多语言数据集

为了在多语言环境中有效检测网络攻击性言论，本研究使用来自 Twitter 的数据，并通过手动注释创建了三种主要尼日利亚语言（豪萨语、约鲁巴语和伊博语）的侮辱性言论检测的新数据集。我们使用预训练的语言模型评估其在我们的数据集中检测侮辱性言论的有效性，最佳模型的准确率达到 90％。为了进一步支持侮辱性言论检测的研究，我们计划公开数据集和模型。

Jun, 2024

OffLanDat: 通过提示工程生成的基于社区的隐式攻击性语言数据集

社交媒体上恶意用语的普遍存在对社会福祉产生了不利影响，因此，解决这个问题变得非常重要。本研究中，我们提出了一个新的数据集 OffLanDat，这是一个由 ChatGPT 生成的基于社区的隐式恶意语言数据集，包含了 38 个不同目标群体的数据，并采用了一种基于提示的零 - shot 方法与 ChatGPT 进行比较，以评估数据的质量和检测结果。

Mar, 2024

印度 - 雅利安语言中的仇恨言论和冒犯内容检测：基于 LSTM 和 Transformers 的对抗

该研究在五种不同语言中展开了对仇恨言论的广泛比较分析，使用多种预训练模型评估其在这些语言中识别仇恨言论的性能，并为多语言环境下构建强大的仇恨言论检测系统提供了有益的见解。

Dec, 2023

识别转写和混合编码的孟加拉语冒犯性语言

在这篇研究中，我们探讨了社交媒体上的冒犯性内容识别问题，特别关注多语社会中常见的音译和混合语言现象对自然语言处理系统的挑战。我们引入了一份包含 5000 条手动注释评论的音译孟加拉冒犯性语言数据集（TB-OLID），并在该数据集上对机器学习模型进行训练、微调和评估。结果显示，fBERT 和 HateBERT 等基于英语预训练的 Transformer 模型在该数据集上表现最佳。

Nov, 2023

推特上的阿拉伯攻击性言论：分析与实验

本论文介绍了一种构建阿拉伯语攻击性社交媒体贴文数据集的方法，分析了导致攻击性社交媒体贴文的因素和阿拉伯语使用攻击性语言的方式，并采用先进技术在该数据集上取得了 F1=83.2 的优秀结果。

Apr, 2020

使用 Transformers 从多语代码混合文本中检测攻击性言论

本论文提出了一种多语言自动化系统，使用机器学习和转换器来从混合语言的数据中识别带有冒犯性的文本，并在 Tamil、Malayalam 和 Kannada 三种语言的数据集上进行了测试。结果表明，该系统在不同语言上表现出不同的最佳表现方法，得分最高的是 m-BERT（Kannada）和 XLM-R（Tamil 和 Malayalam），系统性能达到了一定的水平。

Feb, 2021

跨语言归纳迁移学习用于检测攻击性语言

本文采用跨语言归纳方法基于上下文的词嵌入模型 XLM-RoBERTa 检测跨语言社交媒体中的冒犯性语言，实验结果表明我们的模型在五种语言中表现竞争力，并在零 - shot 学习环境下显示出可扩展性。

Jul, 2020