EMNLPOct, 2023

K-HATERS：针对特定目标的韩文仇恨言论检测语料库

PDF
TL;DR本研究介绍了 K-HATERS，这是一种用于韩文中仇恨言论检测的新语料库，其中含有大约 192K 个新闻评论，附有针对特定目标的冒犯程度评分。该语料库是韩文中最大的冒犯性语言语料库，是首个提供针对三级李克特量表的特定目标评分的语料库，能够检测韩文中不同程度的仇恨表达。我们进行实验来展示该语料库的有效性，并与现有数据集进行比较。此外，为了解决人类注释中的潜在噪声和偏差，我们探索了一种新颖的想法，即采用认知反思测试作为标签质量的代理。研究结果表明，得分最低的个体的注释往往会导致针对特定目标群体的预测模型存在偏差，且准确性较低。本研究对于仇恨言论检测和资源构建的自然语言处理研究具有重要贡献。您可以在该 URL 访问代码和数据集。
发现论文，激发创造
  • K-MHaS：韩国在线新闻评论中的多标签仇恨言论检测数据集

    介绍了适用于韩语模式的多标记数据集 K-MHaS，基于六种不同的指标使用韩语 BERT 模型进行评估，其中具有子字符令牌化器的 KR-BERT 优于其他模型。

    Aug, 2022

  • 韩国在线新闻评论语料库用于毒性言论检测

    本文旨在确定韩语毒性言论，提供了相关数据集，并使用 CharCNN、BiLSTM 和 BERT 三种模型进行分析和预测，结果显示 BERT 在所有任务中表现最佳。

    May, 2020

  • 用于分类现实世界在线服务中的有偏见言论的大规模韩文文本数据集

    我们引入了一个来自韩国著名 SNS 平台的全面、大规模数据集，该数据集提供了对文本样本的三种注释：（1）偏好，（2）亵渎，和（3）九种偏见类型，实现了用户生成文本的多任务学习的同时分类。通过利用最先进的基于 BERT 的语言模型，我们的方法在各种度量标准下超越了人类水平的准确性。除了学术贡献，我们的工作可以为实际的仇恨言论和偏见减轻提供实际解决方案，直接有助于提升在线社区的健康。我们的工作为未来旨在提高在线话语质量和促进社会福祉的研究奠定了坚实的基础。所有源代码和数据集都可以在此 https 链接上公开访问。

    Oct, 2023

  • KOLD：韩语攻击性语言数据集

    本文介绍了韩国冒犯性语言数据集（KOLD），其中包含 40,429 个分层注释的评论，以及相应文本跨度的注释。作者使用这些注释的评论作为韩文 BERT 和 RoBERTa 模型的训练数据，并发现它们对于冒犯性检测、目标分类和目标跨度检测很有效。提供上下文信息可以显著提高模型性能，在冒犯性检测（+0.3）、目标分类（+1.5）和目标组分类（+13.1）方面有所改善。

    May, 2022

  • 利用受害者的仇恨进行越南社交媒体文本中的仇恨言论检测

    社交媒体上激进内容的快速传播促使了对仇恨言论的检测任务的需求，本论文提供了一种构建用于针对性仇恨言论检测的系统的方法，并介绍了一个越南社交媒体文本的针对性仇恨言论检测数据集，并结合预训练语言模型与基于文本表征的 Bi-GRU-LSTM-CNN 模型建立了基线模型，最终提出了一种方法将该模型整合至在线流媒体系统，以在社交媒体上防止令人讨厌和冒犯性内容的实际应用。

    Apr, 2024

  • 面向多标签分类的韩国在线仇恨言论数据集：社会科学如何改进仇恨言论数据集？

    我们提供了一个多标签的韩国在线仇恨言论数据集，考虑了文化和语言背景，建议了从社会科学角度构建更具多元文化背景的仇恨言论数据集的方法。基于 2.4 万的数据集测试模型，经过结合 1.1 万个额外数据，模型的 LRAP 准确率从 0.892 提高至 0.919。

    Apr, 2022

  • ViHOS: 越南语仇恨言论跨度检测

    概述：该研究提出了 ViHOS 数据集，它是第一个包含 11k 条评论和 26k 个含有仇恨和攻击性言论的人工标注的数据集。通过使用各种最先进的模型进行实验，我们发现 XLM-R $_{Large}$ 在单个范围检测和所有范围检测方面取得了最佳的 F1 分数，而 PhoBERT $_{Large}$ 在多个范围检测方面获得了最高的分数。该研究的目的在于帮助解决社交网络平台上存在的恶意和攻击性言论的问题。

    Jan, 2023

  • 重新审视仇恨言论基准：从数据筛选到系统部署

    该研究旨在提出一种名为 GOTHate 的数据集，包含了多语言和多主题，并引入内源信号来增强恶意言论检测任务。作者开发出了一种多语言模型 HEN-mBERT，其通过历史、拓扑和范例等内源信号来改善语义分析。实验结果表明，该模型相较于其他模型提升了 2.5% 的整体宏 F1 值和 5% 的恶意言论 F1 值。

    Jun, 2023

  • THOS：一个面向有针对性的仇恨和攻击性言论的基准数据集

    社交媒体上检测有害内容的困难在于看似简单的是 / 否分类隐藏了大量的复杂性。本文介绍了 THOS 数据集，该数据集包含了 8.3k 个带有目标细粒度标注的推文，展示了使用大型语言模型训练分类器在该层级进行分类的可行性。

    Nov, 2023

  • 针对仇恨的多元化占据：一个基于特征的网络仇恨语料库

    本研究介绍了 M-Phasis 语料库，该语料库包含了德语和法语移民相关新闻文章中近九千个用户评论，注释了 23 个特征以描述不同类型的言语（从批评性评论到隐晦和明确的仇恨表达），并训练了几个基准分类器以探索其数据特征。

    Apr, 2022