Jun, 2023

揭示印度选举活动期间的政治仇恨言论：一个新的低资源数据集和基线

PDF
TL;DR本文介绍了一个新数据集 IEHate，该数据集包含 11,457 个手动注释的印地语推文，主要研究议会选举中的仇恨言论检测问题，并使用多种机器学习、深度学习和变形器算法来检测和分析数据集，结果表明在低资源语言中进行恶意言论检测任重道远，需要更先进的技术，并强调了在恶意言论检测中同时应该使用人工和自动化方法。
发现论文，激发创造
  • 孟加拉语仇恨言论检测：数据集及其基准评估

    本文针对社交媒体上孟加拉语仇恨言论检测的挑战，通过众包标注和专家验证构建了一个包含 30,000 条用户评论的数据集，并利用多个深度学习模型对其进行了实验。结果表明将 SVM 用于该数据集能够获得 87.5% 的准确率，该数据集将推动孟加拉语仇恨言论检测领域的未来研究机会。

    Dec, 2020

  • 扩展仅有少量资源的语言中仇恨言论检测的数据高效策略

    本文旨在研究如何在少资源语言情况下进行有效的仇恨言论检测，发现只需少量目标语言数据即可获得良好性能，并初步发现在英语数据的支持下，fine-tuning 可在一定程度上替代目标语数据并提高模型泛化性能。

    Oct, 2022

  • DeepHateExplainer: 可解释的低资源孟加拉语仇恨言论检测

    该论文提出了一种名为 DeepHateExplainer 的方法，利用神经集成（即单语言孟加拉 BERT-base、多语言 BERT-cased/uncased 和 XLM-RoBERTa）从计算资源匮乏的孟加拉语中分类政治、个人、地缘政治和宗教仇恨，通过敏感度分析和层内关联传播技术（LRP）鉴别出最重要和最不重要的术语，评估得分表明，该方法对底层的机器学习和神经网络模型均有较好的表现

    Dec, 2020

  • HateCheckHIn：对印地语仇恨言论检测模型的评估

    针对社交媒体中存在的多语言仇恨言论，本文提出了一种针对多语言仇恨言论模型的功能集，被用于对现有模型的诊断分析。通过以印地语为基础语言，构建了 HateCheckHIn 评估数据集，测试了最先进的基于 Transformer 的 m-BERT 模型以及 Perspective API。

    Apr, 2022

  • 多语言仇恨言论检测的深度学习模型

    本研究从 16 个数据来源的 9 种语言中进行大规模的多语言仇恨言论分析，发现在低资源设置下，使用 LASER 嵌入和逻辑回归的简单模型性能最佳，在高资源设置下，BERT 模型表现更好。对于零样本分类，意大利语和葡萄牙语取得了良好的效果。我们提出的框架可用作低资源语言的高效解决方案，并可作为未来多语言仇恨言论检测任务的良好基准。我们已公开了我们的代码和实验设置供其他研究人员使用。

    Apr, 2020

  • 构建仇恨言论检测数据集的挑战

    通过对针对性别少数群体的仇恨言论的具体例子，本文分析了仇恨言论检测所面临的问题，并提出了一个以数据为中心的综合框架，以跨七个广泛的维度来概括数据创建流程，同时指出实践者将从按照该框架来创建未来的仇恨言论数据集中获益。

    Sep, 2023

  • IndoToxic2024：一份丰富人口统计数据集，用于印度尼西亚语的仇恨言论和毒性类型

    印尼互联网仇恨言论和毒性分类数据集的全面介绍以及对利用 BERT 模型和 gpt-3.5-turbo 进行情感分析的结果和注意事项。

    Jun, 2024

  • 社交媒体中的强韧仇恨言论检测：跨数据集实证评估

    针对在线仇恨言论的自动检测是 NLP 领域的一个研究热点。本文通过对不同的仇恨言论检测数据集进行微调，分析了数据集通用性的差异，并证明了数据集的组合能够促进强大的仇恨言论检测模型的发展。

    Jul, 2023

  • MetaHate: 一个用于整合仇恨言论检测努力的数据集

    恶意言论是一种广泛而有害的在线话语形式，通常通过一系列诋毁性的言辞来表现，如令人厌恶的推文和诽谤帖子。本研究旨在解决这一现象，提出了一个全面的元数据集，并对现有的收集进行了详细的研究，以推动更强大和适应性更强的模型的训练，以有效对抗数字领域中恶意言论的动态和复杂性。

    Jan, 2024

  • 重新审视仇恨言论基准：从数据筛选到系统部署

    该研究旨在提出一种名为 GOTHate 的数据集，包含了多语言和多主题，并引入内源信号来增强恶意言论检测任务。作者开发出了一种多语言模型 HEN-mBERT，其通过历史、拓扑和范例等内源信号来改善语义分析。实验结果表明，该模型相较于其他模型提升了 2.5% 的整体宏 F1 值和 5% 的恶意言论 F1 值。

    Jun, 2023