Jul, 2022

FIRE 2021: 乌尔都语中滥用和威胁语言检测概述

PDF
TL;DR本篇研究针对社交媒体平台上的辱骂和威胁性言论检测问题，提出了两个任务，并通过 Urdu 语言的二分类数据集进行实验，结果表明基于 m-Bert 的 Transformer 模型的性能最优。
social media platformabusive and threatening language detectionurdu languagebinary classification tasksm-bert based transformer model
发现论文，激发创造
  • 使用监督式机器学习和特征组合检测乌尔都语中的滥用和威胁性语言

    本文介绍了参加 FIRE Shared Task 2021 的系统描述，该任务旨在自动识别乌尔都语中的滥用和威胁推文，结果显示支持向量机在去除停用词、应用词形还原、使用单词 n-grams (n = 1,2,3) 组合创建的特征矢量的条件下在滥用语言检测的任务上表现最佳，而在威胁语言检测的任务上，使用去除停用词、不应用词形还原、使用预训练的乌尔都语 Word2Vec 创建的特征向量，并使用过 - 采样技术使数据集平衡的支持向量机获得了最佳表现，本文的代码也可用于再现。

    Apr, 2022

  • 改进基于数据引导的印度语恶意语言检测方法，提高低资源环境下的检测效果

    本篇论文探讨针对印度尼西亚语多语种辱骂性言论的大规模分析，研究不同的语言转移机制及该领域的多语种模型的表现，同时探究此类模型对抗性攻击的能力，并进行了误判分析。

    Apr, 2022

  • AlexU-AIC 参加 2022 阿拉伯语仇恨言论：对比分类

    本篇研究介绍了使用阿拉伯语推特数据集提交阿拉伯语言仇恨言论 2022 共享任务的解决方案。为了解决细粒度仇恨言论检测中过度拟合的问题，研究人员探究了多种训练模式，如对比学习和多任务学习，最终使用分类微调和五种模型的集成，取得了良好的性能。 在子任务 A，B 和 C 中分别实现了 0.841，0.817 和 0.476 的宏 F1 平均分数。

    Jul, 2022

  • 推特恶意语言检测的一步和两步分类

    针对社交媒体中滥用语言的检测问题，我们提出了一种两步分类的方法，并将其与一步多分类检测性别主义和种族主义语言的方法进行了比较。在英语 Twitter 语料库上的实验结果表明，我们的方法比使用逻辑回归的两步法和使用 HybridCNN 的一步法分别提高了 0.827 和 0.824 的 F-measure 性能指标。

    Jun, 2017

  • 推特上滥用语言的比较研究

    本文研究了在 Twitter 上关于仇恨言论和辱骂的数据集，考察了不同的学习模型和额外特征的加入，并得出了使用双向 GRU 网络结合潜在主题聚类模型的最优模型，F1 得分为 0.805。

    Aug, 2018

  • Optimize_Prime@DravidianLangTech-ACL2022: 满语中的辱骂评论检测

    本文介绍了 Optimize_Prime 小组在 AC2022 项目中解决有限资源 Indic 语言中有害评论检测的方法，使用了集成模型，循环神经网络和 Transformer 等方法，并取得了不错的效果。

    Apr, 2022

  • 打破沉默：检测和减少印度在线空间中的性别虐待（印地语、泰米尔语和印度英语）

    在线性别基础骚扰是限制女性和边缘性别在数字空间中自由表达和参与的普遍问题。检测此类滥用内容可以使平台遏制这一威胁。我们参加了 ICON2023 举办的 Indic 语言中的性别虐待检测任务，该任务为构建分类器以识别带有性别偏见的滥用提供了英语、印地语和泰米尔语的注释 Twitter 帖子的数据集。我们的团队 CNLP-NITS-PP 开发了结合 CNN 和 BiLSTM 网络的集成方法，可以有效地建模文本数据中的语义和顺序模式。CNN 通过其应用于嵌入式输入文本的卷积滤波器捕捉到暴力语言的局部特征。为了确定基于上下文的冒犯性，BiLSTM 分析这个序列中单词和短语之间的依赖关系。我们为每种语言数据集训练了使用 FastText 和 GloVe 词嵌入的多种变体，其中包括超过 7600 个众包注释，涵盖了明确的滥用、针对少数群体的攻击和一般违规事项的标签。验证分数显示出强大的性能，特别是对于英语为 0.84。我们的实验证明了如何通过自定义嵌入和模型超参数来提高检测能力。该提议的架构在比赛中排名第一，证明其处理具有代码切换的现实世界嘈杂文本的能力。随着平台力图应对面临 Indic 语言互联网用户的网络骚扰，这种技术有着广阔的前景。我们的代码位于此 https URL。

    Apr, 2024

  • 利用预训练的句子变换器在印度语言中进行冒犯性语言检测

    我们的研究探讨了恶意言论检测领域，特别关注孟加拉语、阿萨姆语和古吉拉特语这三种资源匮乏的印度语言。我们通过 HASOC 2023 数据集对预训练的 BERT 和 SBERT 模型进行微调，评估它们在恶意言论识别中的有效性。研究发现，单语句 BERT 模型表现出卓越的优势，特别是在孟加拉语方面表现最佳。然而，阿萨姆语和古吉拉特语的性能仍有改进的机会。我们的目标是通过打击恶意言论的泛滥来促进包容性的在线空间。

    Oct, 2023

  • 低资源语言的多语种攻击性语言识别

    通过跨语境词嵌入和迁移学习，将预测扩展到低资源语言中，为即将面临的恶意内容提供了解决方案。

    May, 2021

  • 低资源语言中的冒犯和威胁性在线内容检测

    这项研究旨在解决 Hausa 这种计算语言学的低资源语言缺乏相关 NLP 任务支持的问题，通过进行用户研究、收集数据集并开发检测系统，发现宗教和政治相关话题中存在相当多的冒犯和威胁内容，并建议各方参与了解当地习惯和人口统计来开发更有效的检测系统，以便实施有针对性的调控策略，创造一个安全和包容的在线环境。

    Nov, 2023