May, 2022

KOLD：韩语攻击性语言数据集

PDF
TL;DR本文介绍了韩国冒犯性语言数据集（KOLD），其中包含 40,429 个分层注释的评论，以及相应文本跨度的注释。作者使用这些注释的评论作为韩文 BERT 和 RoBERTa 模型的训练数据，并发现它们对于冒犯性检测、目标分类和目标跨度检测很有效。提供上下文信息可以显著提高模型性能，在冒犯性检测（+0.3）、目标分类（+1.5）和目标组分类（+13.1）方面有所改善。
offensive language detectionhierarchical modelingkorean offensive language datasetbertroberta
发现论文，激发创造
  • 跨语言归纳迁移学习用于检测攻击性语言

    本文采用跨语言归纳方法基于上下文的词嵌入模型 XLM-RoBERTa 检测跨语言社交媒体中的冒犯性语言，实验结果表明我们的模型在五种语言中表现竞争力，并在零 - shot 学习环境下显示出可扩展性。

    Jul, 2020

  • K-HATERS：针对特定目标的韩文仇恨言论检测语料库

    本研究介绍了 K-HATERS，这是一种用于韩文中仇恨言论检测的新语料库，其中含有大约 192K 个新闻评论，附有针对特定目标的冒犯程度评分。该语料库是韩文中最大的冒犯性语言语料库，是首个提供针对三级李克特量表的特定目标评分的语料库，能够检测韩文中不同程度的仇恨表达。我们进行实验来展示该语料库的有效性，并与现有数据集进行比较。此外，为了解决人类注释中的潜在噪声和偏差，我们探索了一种新颖的想法，即采用认知反思测试作为标签质量的代理。研究结果表明，得分最低的个体的注释往往会导致针对特定目标群体的预测模型存在偏差，且准确性较低。本研究对于仇恨言论检测和资源构建的自然语言处理研究具有重要贡献。您可以在该 URL 访问代码和数据集。

    Oct, 2023

  • 韩国在线新闻评论语料库用于毒性言论检测

    本文旨在确定韩语毒性言论，提供了相关数据集，并使用 CharCNN、BiLSTM 和 BERT 三种模型进行分析和预测，结果显示 BERT 在所有任务中表现最佳。

    May, 2020

  • K-MHaS：韩国在线新闻评论中的多标签仇恨言论检测数据集

    介绍了适用于韩语模式的多标记数据集 K-MHaS，基于六种不同的指标使用韩语 BERT 模型进行评估，其中具有子字符令牌化器的 KR-BERT 优于其他模型。

    Aug, 2022

  • 识别转写和混合编码的孟加拉语冒犯性语言

    在这篇研究中，我们探讨了社交媒体上的冒犯性内容识别问题，特别关注多语社会中常见的音译和混合语言现象对自然语言处理系统的挑战。我们引入了一份包含 5000 条手动注释评论的音译孟加拉冒犯性语言数据集（TB-OLID），并在该数据集上对机器学习模型进行训练、微调和评估。结果显示，fBERT 和 HateBERT 等基于英语预训练的 Transformer 模型在该数据集上表现最佳。

    Nov, 2023

  • AustroTox：用于基于目标的奥地利德语冒犯性语言检测的数据集

    模型解释性在毒性检测中获益于对令牌级注释。我们介绍了一个从新闻论坛获取的用于侮辱语言检测的数据集，其特点是包含奥地利德语方言，包含 4562 个用户评论。除了二进制侮辱分类外，我们还确定了每个评论中构成粗俗语言或代表侮辱性陈述目标的部分。我们以零次和少次迭代的方式评估了微调的语言模型和大型语言模型。结果表明，虽然微调模型在检测粗俗方言等语言特异性方面表现卓越，但大型语言模型在检测 AustroTox 的侮辱性方面表现出更高的性能。我们发布数据和代码。

    Jun, 2024

  • 社交媒体中攻击性帖子的类型和目标预测

    本文旨在针对多种不同类型的社交媒体攻击信息进行分类，构建了一个针对这个任务的分层模型，并提供了一个细粒度三层注释方案的 Offensive Language Identification Dataset (OLID) 数据集。最后，我们通过实验证明了不同机器学习模型的性能差异。

    Feb, 2019

  • OPSD：一种冒犯性波斯社交媒体数据集及其基准评估

    该研究介绍了两个针对恶意评论和冒犯性言论的数据集，并使用先进的语言模型和机器学习算法进行了实验，以建立该数据集的基准，结果表明 XLM-RoBERTa 在该数据集上的 F1 分数分别为 76.9% 和 89.9%。

    Apr, 2024

  • COLD: 中文攻击性语言检测基准

    该研究在探索中文领域下的垃圾语言检测，提出了一个基准和数据集并使用预训练语言模型进行分析，结果表明，该基准和数据集能有效提高中文垃圾语言的检测难度，同时也揭示了触发垃圾语言的关键词。

    Jan, 2022

  • ViHOS: 越南语仇恨言论跨度检测

    概述：该研究提出了 ViHOS 数据集，它是第一个包含 11k 条评论和 26k 个含有仇恨和攻击性言论的人工标注的数据集。通过使用各种最先进的模型进行实验，我们发现 XLM-R $_{Large}$ 在单个范围检测和所有范围检测方面取得了最佳的 F1 分数，而 PhoBERT $_{Large}$ 在多个范围检测方面获得了最高的分数。该研究的目的在于帮助解决社交网络平台上存在的恶意和攻击性言论的问题。

    Jan, 2023