Apr, 2024

OPSD：一种冒犯性波斯社交媒体数据集及其基准评估

PDF
TL;DR该研究介绍了两个针对恶意评论和冒犯性言论的数据集，并使用先进的语言模型和机器学习算法进行了实验，以建立该数据集的基准，结果表明 XLM-RoBERTa 在该数据集上的 F1 分数分别为 76.9% 和 89.9%。
hate speechoffensive commentspersian languagedatasetslanguage models
发现论文，激发创造
  • 丹麦的攻击性语言和仇恨言论检测

    针对社交媒体上存在的具有攻击性的语言问题，本研究使用自动分类系统，构建了丹麦数据集，开发了适用于英语和丹麦语的自动分类系统，并对不同种类和目标的攻击性语言进行了检测，包括仇恨言论和网络欺凌。

    Aug, 2019

  • ViHOS: 越南语仇恨言论跨度检测

    概述：该研究提出了 ViHOS 数据集，它是第一个包含 11k 条评论和 26k 个含有仇恨和攻击性言论的人工标注的数据集。通过使用各种最先进的模型进行实验，我们发现 XLM-R $_{Large}$ 在单个范围检测和所有范围检测方面取得了最佳的 F1 分数，而 PhoBERT $_{Large}$ 在多个范围检测方面获得了最高的分数。该研究的目的在于帮助解决社交网络平台上存在的恶意和攻击性言论的问题。

    Jan, 2023

  • Ruddit：英文 Reddit 评论的冒犯规范

    该研究旨在创建第一个具有细粒度标签的 Reddit 评论英语数据集，该数据集使用了最佳 - 最差比较评分的方式进行注释，为社交媒体平台上自动检测冒犯性言论提供了可靠方法。

    Jun, 2021

  • 面向多标签分类的韩国在线仇恨言论数据集：社会科学如何改进仇恨言论数据集？

    我们提供了一个多标签的韩国在线仇恨言论数据集，考虑了文化和语言背景，建议了从社会科学角度构建更具多元文化背景的仇恨言论数据集的方法。基于 2.4 万的数据集测试模型，经过结合 1.1 万个额外数据，模型的 LRAP 准确率从 0.892 提高至 0.919。

    Apr, 2022

  • 低资源语言的多语种攻击性语言识别

    通过跨语境词嵌入和迁移学习，将预测扩展到低资源语言中，为即将面临的恶意内容提供了解决方案。

    May, 2021

  • 构建波斯语社交微博情感分析的口语数据集

    该研究提出了一种新的深度卷积神经网络模型以更有效地进行社交微博帖子中的口语文本情感分析，采用构建用户意见数据集，并使用不同的单词嵌入进行了评估，结果表明该模型具有 72％的准确性和有效性。

    Jun, 2023

  • D3CODE: 跨文化数据中的冒犯性检测与评估中的差异分析

    通过广泛的平行标注来考虑不同社会和文化群体的道德价值观，在跨文化数据集中揭示了标注者感知的区域差异，为构建包容性、具有文化敏感性的自然语言处理模型提供了关键见解。

    Apr, 2024

  • 推特上的阿拉伯攻击性言论：分析与实验

    本论文介绍了一种构建阿拉伯语攻击性社交媒体贴文数据集的方法，分析了导致攻击性社交媒体贴文的因素和阿拉伯语使用攻击性语言的方式，并采用先进技术在该数据集上取得了 F1=83.2 的优秀结果。

    Apr, 2020

  • KOLD：韩语攻击性语言数据集

    本文介绍了韩国冒犯性语言数据集（KOLD），其中包含 40,429 个分层注释的评论，以及相应文本跨度的注释。作者使用这些注释的评论作为韩文 BERT 和 RoBERTa 模型的训练数据，并发现它们对于冒犯性检测、目标分类和目标跨度检测很有效。提供上下文信息可以显著提高模型性能，在冒犯性检测（+0.3）、目标分类（+1.5）和目标组分类（+13.1）方面有所改善。

    May, 2022

  • FIRE 2020 上 HASOC 赛道概述：印欧语系中的仇恨言论与攻击内容识别

    本文介绍了在社交媒体中迅速增长的仇恨言论现象以及如何使用多语言算法进行检测，其中包括 Hindi、德语和英语等三种语言，使用的数据集是通过机器学习系统对 Twitter 进行分类得到的，并使用了变压器结构 BERT 进行实验。

    Aug, 2021