Apr, 2024

打破沉默：检测和减少印度在线空间中的性别虐待（印地语、泰米尔语和印度英语）

PDF
TL;DR在线性别基础骚扰是限制女性和边缘性别在数字空间中自由表达和参与的普遍问题。检测此类滥用内容可以使平台遏制这一威胁。我们参加了 ICON2023 举办的 Indic 语言中的性别虐待检测任务，该任务为构建分类器以识别带有性别偏见的滥用提供了英语、印地语和泰米尔语的注释 Twitter 帖子的数据集。我们的团队 CNLP-NITS-PP 开发了结合 CNN 和 BiLSTM 网络的集成方法，可以有效地建模文本数据中的语义和顺序模式。CNN 通过其应用于嵌入式输入文本的卷积滤波器捕捉到暴力语言的局部特征。为了确定基于上下文的冒犯性，BiLSTM 分析这个序列中单词和短语之间的依赖关系。我们为每种语言数据集训练了使用 FastText 和 GloVe 词嵌入的多种变体，其中包括超过 7600 个众包注释，涵盖了明确的滥用、针对少数群体的攻击和一般违规事项的标签。验证分数显示出强大的性能，特别是对于英语为 0.84。我们的实验证明了如何通过自定义嵌入和模型超参数来提高检测能力。该提议的架构在比赛中排名第一，证明其处理具有代码切换的现实世界嘈杂文本的能力。随着平台力图应对面临 Indic 语言互联网用户的网络骚扰，这种技术有着广阔的前景。我们的代码位于此 https URL。
发现论文，激发创造
  • Uli 数据集：基于经验驱动的 oGBV 注释练习

    在线性别暴力与互联网和社交媒体的采用同时增长。它在全球多数国家尤其严重，因为许多用户使用的社交媒体语言不是英语。由于互联网上对话的规模和数量，需要自动检测仇恨言论，尤其是性别虐待。然而，目前缺乏特定语言和语境数据来构建这样的自动化工具。本文介绍了一个关于三种语言 (印地语、泰米尔语和印度英语) 中性别虐待的数据集。该数据集包括在南亚的自称是妇女或 LGBTQIA 群体成员的专家标注的推文，涉及到性别虐待的经历的三个问题。通过这个数据集，我们展示了一种参与性的方法来创建推动 AI 系统的数据集。

    Nov, 2023

  • 探索使用深度学习方法探测德拉维达语中的恐同和跨性别歧视

    研究了在 Dravidian 语言中检测社交媒体评论中的 LGBT-phobia 内容，并应用卷积神经网络、LSTM、BERT 等深度学习模型进行分类。结果表明 IndicBERT 模型在 Malayalam 和 Tamil 语言中的加权平均 F1-score 分别为 0.86 和 0.77，具有更高的分类性能。

    Apr, 2023

  • 利用预训练的句子变换器在印度语言中进行冒犯性语言检测

    我们的研究探讨了恶意言论检测领域，特别关注孟加拉语、阿萨姆语和古吉拉特语这三种资源匮乏的印度语言。我们通过 HASOC 2023 数据集对预训练的 BERT 和 SBERT 模型进行微调，评估它们在恶意言论识别中的有效性。研究发现，单语句 BERT 模型表现出卓越的优势，特别是在孟加拉语方面表现最佳。然而，阿萨姆语和古吉拉特语的性能仍有改进的机会。我们的目标是通过打击恶意言论的泛滥来促进包容性的在线空间。

    Oct, 2023

  • 改进基于数据引导的印度语恶意语言检测方法，提高低资源环境下的检测效果

    本篇论文探讨针对印度尼西亚语多语种辱骂性言论的大规模分析，研究不同的语言转移机制及该领域的多语种模型的表现，同时探究此类模型对抗性攻击的能力，并进行了误判分析。

    Apr, 2022

  • 2023 年 ICON 共享任务概述：印度语中性别虐待检测

    在 ICON 2023 上报告了有关 Indic 语言中的性别虐待检测的研究结果，该共享任务涉及在在线文本中检测性别虐待，使用了新的数据集：印地语、泰米尔语和印度英语方言。

    Jan, 2024

  • 印度 - 雅利安语言中的仇恨言论和冒犯内容检测：基于 LSTM 和 Transformers 的对抗

    该研究在五种不同语言中展开了对仇恨言论的广泛比较分析，使用多种预训练模型评估其在这些语言中识别仇恨言论的性能，并为多语言环境下构建强大的仇恨言论检测系统提供了有益的见解。

    Dec, 2023

  • LT-EDI-2024 平台上鉴别少资源语言中反对 LGBTQ + 仇恨语言的自动化检测

    本文描述了我们开发的社交媒体评论中恐同 / 恐跨基不算法的系统，该系统是 LT-EDI-2024 共享任务的一部分。我们采用了基于 transformer 的方法，为十种语言条件（英语、西班牙语、古吉拉特语、印地语、卡纳达语、马拉雅拉姆语、马拉地语、泰米尔语、土鲁语和泰卢固语）开发了多类别分类模型。我们在领域适应期间引入了合成和有机脚本切换语言数据的实例，以反映社交媒体语言中标记训练数据中所看到的语言现实。我们系统在古吉拉特语和泰卢固语中排名第二，其他语言条件的表现有所不同。结果表明，加入脚本切换等凌语言行为元素可以提高语言检测系统的性能，尤其是在资源匮乏的语言条件下。

    Jan, 2024

  • 謹言慎語：用於混合語言的濫用與冒犯檢測

    本研究中，我们使用迁移学习和基于 LSTM 的模型对印地语和英语 (hinglish) 混合使用的口语文本中的攻击和滥用语言进行检测和分类，该模型比现有最佳模型表现更好，在 Hinglish 攻击文本分类领域成为最先进技术。我们还为研究目的发布了我们的模型和训练嵌入。

    Sep, 2018

  • 利用 Transformer 模型检测会话式混合代码推文中的仇恨言论

    本文介绍了 MIDAS-IIITD 团队针对 HASOC 2021 二号子任务提出的系统，用于检测推特上混合使用印地语和英语的谈话中的仇恨言论。我们采用神经网络方法，并利用 transformer 的跨语言嵌入来进行低资源语录下的贴性言论分类，其中最佳表现的系统 [(Indic-BERT, XLM-RoBERTa, 和 Multilingual BERT) 的难度投票集成方法，Macro F1 得分达到 0.7253，排名第一。

    Dec, 2021

  • 跨语言嵌入的多语言攻击性语言识别

    本文探讨了如何利用跨语境上下文词向量和迁移学习在使用资源较少的本地化语言中进行社交媒体中的冒犯内容检测，结果表明这个方法在孟加拉语、印地语和西班牙语等多种语言中的检测效率较高。

    Oct, 2020