ACLJun, 2024

AustroTox：用于基于目标的奥地利德语冒犯性语言检测的数据集

PDF
TL;DR模型解释性在毒性检测中获益于对令牌级注释。我们介绍了一个从新闻论坛获取的用于侮辱语言检测的数据集，其特点是包含奥地利德语方言，包含 4562 个用户评论。除了二进制侮辱分类外，我们还确定了每个评论中构成粗俗语言或代表侮辱性陈述目标的部分。我们以零次和少次迭代的方式评估了微调的语言模型和大型语言模型。结果表明，虽然微调模型在检测粗俗方言等语言特异性方面表现卓越，但大型语言模型在检测 AustroTox 的侮辱性方面表现出更高的性能。我们发布数据和代码。
发现论文，激发创造
  • KOLD：韩语攻击性语言数据集

    本文介绍了韩国冒犯性语言数据集（KOLD），其中包含 40,429 个分层注释的评论，以及相应文本跨度的注释。作者使用这些注释的评论作为韩文 BERT 和 RoBERTa 模型的训练数据，并发现它们对于冒犯性检测、目标分类和目标跨度检测很有效。提供上下文信息可以显著提高模型性能，在冒犯性检测（+0.3）、目标分类（+1.5）和目标组分类（+13.1）方面有所改善。

    May, 2022

  • 巴西葡语社交媒体有害语言检测：新数据集和多语言分析

    本文介绍了一种用于识别巴西葡萄牙语社交媒体上有毒言论的新的大规模数据集，使用 monolingual 的数据，BERT 模型在二元案例中可以达到 76% 的宏平均 - F1 分数，但仍需要大规模单语数据来创建更精确的模型，并强调了开发能够区分不同类别有毒言论的模型的必要性。

    Oct, 2020

  • 低资源语言的多语种攻击性语言识别

    通过跨语境词嵌入和迁移学习，将预测扩展到低资源语言中，为即将面临的恶意内容提供了解决方案。

    May, 2021

  • 丹麦的攻击性语言和仇恨言论检测

    针对社交媒体上存在的具有攻击性的语言问题，本研究使用自动分类系统，构建了丹麦数据集，开发了适用于英语和丹麦语的自动分类系统，并对不同种类和目标的攻击性语言进行了检测，包括仇恨言论和网络欺凌。

    Aug, 2019

  • 韩国在线新闻评论语料库用于毒性言论检测

    本文旨在确定韩语毒性言论，提供了相关数据集，并使用 CharCNN、BiLSTM 和 BERT 三种模型进行分析和预测，结果显示 BERT 在所有任务中表现最佳。

    May, 2020

  • 跨语言归纳迁移学习用于检测攻击性语言

    本文采用跨语言归纳方法基于上下文的词嵌入模型 XLM-RoBERTa 检测跨语言社交媒体中的冒犯性语言，实验结果表明我们的模型在五种语言中表现竞争力，并在零 - shot 学习环境下显示出可扩展性。

    Jul, 2020

  • 希腊语中的攻击性语言识别

    该研究针对互联网社区和社交媒体平台中的恶意内容问题，在英语研究有限的情况下，通过希腊注释数据集 OGTD，评估了几个计算模型，以便识别 Twitter 上的带攻击性的帖子和不带攻击性的帖子。

    Mar, 2020

  • MuTox：通用多语种基于音频的毒性数据集和零样本检测器

    通过创造多语言音频数据集 MuTox，实现了跨多种语言的零射击毒性检测，相比现有的基于文本的训练分类器，MuTox 的 AUC 值提高了超过 1％，语言覆盖范围扩大了 10 倍以上，相比于基于词汇列表的分类器，MuTox 的精确度和召回率提高了约 2.5 倍，这一显著改进突显出 MuTox 在音频毒性检测领域的潜力。

    Jan, 2024

  • IndoToxic2024：一份丰富人口统计数据集，用于印度尼西亚语的仇恨言论和毒性类型

    印尼互联网仇恨言论和毒性分类数据集的全面介绍以及对利用 BERT 模型和 gpt-3.5-turbo 进行情感分析的结果和注意事项。

    Jun, 2024

  • ViHOS: 越南语仇恨言论跨度检测

    概述：该研究提出了 ViHOS 数据集，它是第一个包含 11k 条评论和 26k 个含有仇恨和攻击性言论的人工标注的数据集。通过使用各种最先进的模型进行实验，我们发现 XLM-R $_{Large}$ 在单个范围检测和所有范围检测方面取得了最佳的 F1 分数，而 PhoBERT $_{Large}$ 在多个范围检测方面获得了最高的分数。该研究的目的在于帮助解决社交网络平台上存在的恶意和攻击性言论的问题。

    Jan, 2023