Apr, 2023

探索使用深度学习方法探测德拉维达语中的恐同和跨性别歧视

PDF
TL;DR研究了在 Dravidian 语言中检测社交媒体评论中的 LGBT-phobia 内容，并应用卷积神经网络、LSTM、BERT 等深度学习模型进行分类。结果表明 IndicBERT 模型在 Malayalam 和 Tamil 语言中的加权平均 F1-score 分别为 0.86 和 0.77，具有更高的分类性能。
发现论文，激发创造
  • 基于预训练语言模型检测社交媒体评论中的恐同和恐 Trans 现象

    本文介绍了我们基于转换器模型的 LT-EDI 共享任务中用于检测社交媒体评论中的恐同和仇视跨性别内容的系统，使用 mBERT 等模型，并通过数据增强技术处理类别不平衡问题，代码已开源。在英语、泰米尔语和泰米尔语 - 英语子任务中，我们的排名分别为 9、6、3，宏平均 F1 得分为 0.42、0.64 和 0.58。

    Mar, 2022

  • LT-EDI-2024 平台上鉴别少资源语言中反对 LGBTQ + 仇恨语言的自动化检测

    本文描述了我们开发的社交媒体评论中恐同 / 恐跨基不算法的系统，该系统是 LT-EDI-2024 共享任务的一部分。我们采用了基于 transformer 的方法，为十种语言条件（英语、西班牙语、古吉拉特语、印地语、卡纳达语、马拉雅拉姆语、马拉地语、泰米尔语、土鲁语和泰卢固语）开发了多类别分类模型。我们在领域适应期间引入了合成和有机脚本切换语言数据的实例，以反映社交媒体语言中标记训练数据中所看到的语言现实。我们系统在古吉拉特语和泰卢固语中排名第二，其他语言条件的表现有所不同。结果表明，加入脚本切换等凌语言行为元素可以提高语言检测系统的性能，尤其是在资源匮乏的语言条件下。

    Jan, 2024

  • 使用时空再训练的语言模型检测社交媒体评论中的恐同 / 恐跨性别现象

    该研究使用 BERT-based 语言模型开发了多类别分类系统，用于检测社交媒体评论中的恐同和恐 Trans 内容，跨五种语言条件：英语，西班牙语，印地语，马拉雅拉姆语和泰米尔语。发现使用时空相关的社交媒体语言数据可以提高语言分类系统的性能。

    Aug, 2023

  • Cordyceps@LT-EDI：用多语言理解修补特定语言中的恐同 / 恐跨性别分类器

    通过多语言和特定语言的联合方法，本研究构建了一种简单而成功的方法来检测针对跨性别和同性恋群体的仇恨言论，并在多种语言中取得了最佳结果，达到马拉雅拉姆语文本方面的 0.997 宏平均 F1 分数。

    Sep, 2023

  • 印度 - 雅利安语言中的仇恨言论和冒犯内容检测：基于 LSTM 和 Transformers 的对抗

    该研究在五种不同语言中展开了对仇恨言论的广泛比较分析，使用多种预训练模型评估其在这些语言中识别仇恨言论的性能，并为多语言环境下构建强大的仇恨言论检测系统提供了有益的见解。

    Dec, 2023

  • 打破沉默：检测和减少印度在线空间中的性别虐待（印地语、泰米尔语和印度英语）

    在线性别基础骚扰是限制女性和边缘性别在数字空间中自由表达和参与的普遍问题。检测此类滥用内容可以使平台遏制这一威胁。我们参加了 ICON2023 举办的 Indic 语言中的性别虐待检测任务，该任务为构建分类器以识别带有性别偏见的滥用提供了英语、印地语和泰米尔语的注释 Twitter 帖子的数据集。我们的团队 CNLP-NITS-PP 开发了结合 CNN 和 BiLSTM 网络的集成方法，可以有效地建模文本数据中的语义和顺序模式。CNN 通过其应用于嵌入式输入文本的卷积滤波器捕捉到暴力语言的局部特征。为了确定基于上下文的冒犯性，BiLSTM 分析这个序列中单词和短语之间的依赖关系。我们为每种语言数据集训练了使用 FastText 和 GloVe 词嵌入的多种变体，其中包括超过 7600 个众包注释，涵盖了明确的滥用、针对少数群体的攻击和一般违规事项的标签。验证分数显示出强大的性能，特别是对于英语为 0.84。我们的实验证明了如何通过自定义嵌入和模型超参数来提高检测能力。该提议的架构在比赛中排名第一，证明其处理具有代码切换的现实世界嘈杂文本的能力。随着平台力图应对面临 Indic 语言互联网用户的网络骚扰，这种技术有着广阔的前景。我们的代码位于此 https URL。

    Apr, 2024

  • 基于 Transformer 深度学习的多语种仇恨言论分析与检测

    使用基于 Transformer 模型的算法来检测社交媒体上的仇恨言论，无论语言如意大利语、英语、德语还是孟加拉语，该模型的检测准确率较现有基准和最先进模型提高，其成功率达到了 89%（孟加拉语）、91%（英语和德语）以及 77%（意大利语）

    Jan, 2024

  • 探索基于 Transformer 的模型以识别英语和印度雅利安语中的仇恨言论和攻击性内容

    本篇论文探索了基于 Transformer 的多种机器学习模型，用于探测英语和印度 - 雅利安语中的仇恨言论和冒犯性内容，研究团队 “超级马里奥” 采用 mBERT、XLMR-large、XLMR-base 等多种模型，我们在 Code-Mixed 数据集排名第二（宏平均 F1：0.7107）、在印地语二分类中排名第二（宏平均 F1：0.7797）、在英语四分类中排名第四（宏平均 F1：0.8006），在英语二分类中排名第十二（宏平均 F1：0.6447）。

    Nov, 2021

  • 多语言 YouTube 评论中的恐同和跨性别歧视辨识数据集

    通过构建一个新的分层分类法及提供专业标注数据集，可以自动识别恶意内容，这对于消除在社交媒体上存在的针对 LGBT + 人群的仇恨言论至关重要。

    Sep, 2021

  • 使用 Transformers 从多语代码混合文本中检测攻击性言论

    本论文提出了一种多语言自动化系统，使用机器学习和转换器来从混合语言的数据中识别带有冒犯性的文本，并在 Tamil、Malayalam 和 Kannada 三种语言的数据集上进行了测试。结果表明，该系统在不同语言上表现出不同的最佳表现方法，得分最高的是 m-BERT（Kannada）和 XLM-R（Tamil 和 Malayalam），系统性能达到了一定的水平。

    Feb, 2021