扩展仅有少量资源的语言中仇恨言论检测的数据高效策略
本研究从 16 个数据来源的 9 种语言中进行大规模的多语言仇恨言论分析,发现在低资源设置下,使用 LASER 嵌入和逻辑回归的简单模型性能最佳,在高资源设置下,BERT 模型表现更好。对于零样本分类,意大利语和葡萄牙语取得了良好的效果。我们提出的框架可用作低资源语言的高效解决方案,并可作为未来多语言仇恨言论检测任务的良好基准。我们已公开了我们的代码和实验设置供其他研究人员使用。
Apr, 2020
使用合成数据生成方法来解决有限数据情境下在线仇恨言论检测中数据不足的问题,提供了三种方法以在目标语言中生成保留原有仇恨情绪但转移仇恨目标的仇恨言论数据样本,并在印地语和越南语中生成训练数据以进行仇恨言论分类任务,表明在有限数据情境中,使用合成数据训练的模型表现与仅使用目标领域样本训练的模型相媲美甚至更好,可用于从零开始构建仇恨言论检测模型,以进一步提升我们对仇恨言论的检测、理解和响应能力。
Oct, 2023
针对社交媒体中存在的多语言仇恨言论,本文提出了一种针对多语言仇恨言论模型的功能集,被用于对现有模型的诊断分析。通过以印地语为基础语言,构建了 HateCheckHIn 评估数据集,测试了最先进的基于 Transformer 的 m-BERT 模型以及 Perspective API。
Apr, 2022
本研究探讨了自然语言推理(NLI)模型对于在仅有少量标记数据的情况下,提高仇恨言论检测性能的可行性,并提出了一组针对存在极少标记训练数据的语言的仇恨言论检测推荐方法。
Jun, 2023
针对在线仇恨言论的自动检测是 NLP 领域的一个研究热点。本文通过对不同的仇恨言论检测数据集进行微调,分析了数据集通用性的差异,并证明了数据集的组合能够促进强大的仇恨言论检测模型的发展。
Jul, 2023
通过对针对性别少数群体的仇恨言论的具体例子,本文分析了仇恨言论检测所面临的问题,并提出了一个以数据为中心的综合框架,以跨七个广泛的维度来概括数据创建流程,同时指出实践者将从按照该框架来创建未来的仇恨言论数据集中获益。
Sep, 2023
本文提出了 HateMAML 框架,通过 meta-learning 技术和 self-supervision 策略在低资源语言下进行仇恨言论检测,并且达到了比现有方案更好的性能,同时兼备了跨语言迁移和领域泛化功能。
Mar, 2023
本文介绍了一个新数据集 IEHate,该数据集包含 11,457 个手动注释的印地语推文,主要研究议会选举中的仇恨言论检测问题,并使用多种机器学习、深度学习和变形器算法来检测和分析数据集,结果表明在低资源语言中进行恶意言论检测任重道远,需要更先进的技术,并强调了在恶意言论检测中同时应该使用人工和自动化方法。
Jun, 2023
本文介绍一种新的多语言仇恨言论分析数据集,涵盖了英语、印地语、阿拉伯语、法语、德语和西班牙语等六种语言,针对辱骂、种族主义、性别歧视、宗教仇视和极端主义等五大领域进行多角度分类,采用多任务学习方法对数据进行测试,以期提高仇恨言论检测和分类的准确性。
Apr, 2023