Jan, 2021

利用预训练语言模型检测印地语中的敌意

PDF
TL;DR本篇文章提出了一种基于转移学习的方法，使用专注力预训练模型进行细分任务分类，将社交媒体文章分类为敌对与非敌对，并进一步分析其情感类型：仇恨、虚假、诽谤和冒犯。这种方法在印第语文本数据上进行 fine-tuned，并在 CONSTRAINT-2021 共享任务中表现出色。
hostile contentsocial platformsdetectiontransfer learningindian languages
发现论文，激发创造
  • 评估深度学习模型对印地语文本的敌意检测能力

    本文中提出了一些方法来检测印度语中的恶意文本，使用 CNN、LSTM 和 BERT 等深度学习方法，并发现使用 BERT 的模型性能最佳。

    Jan, 2021

  • 使用 Fine Tuned 多语言嵌入在印地语帖子中进行粗粒度和细粒度的敌意检测

    研究采用基于 mBERT 的神经网络技术，对资源受限的印地语社交媒体上的言论进行多标签分类，结果表明该模型的绩效超过了现有的基准模型，成为了印地语言领域检测敌意的最佳模型。

    Jan, 2021

  • 印地语敌对检测数据集

    本文提出了一个新颖的基于印地语的敌对性检测数据集，其中包括约 8200 个在线发布的文本，覆盖了虚假新闻、仇恨言论、攻击性和诽谤帖子等四个维度，并采用多标签标注方式，发布该数据集作为 CONSTRAINT-2021 敌对性帖子检测任务的一部分。

    Nov, 2020

  • 应对敌对行为：社交媒体中的 Covid-19 虚假新闻和敌对帖子检测

    本文介绍了 AAAI-2021 CONSTRAINT 共享任务中开发的系统，包括在英语中检测 COVID19 虚假新闻和在印地语中检测敌对帖子。该研究使用 SVM，CNN，BiLSTM 和 CNN+BiLSTM 等技术进行分类任务，结果表明 SVM 在使用 tf-idf 特征方面在 task-A 测试集上实现了最高的 94.39％加权 $f_1$ 分数。标签功率集 SVM 使用 n-gram 特征在 task-B 测试集上获得了 86.03％的粗分类和 50.98％的细分类 $f_1$ 分数。

    Jan, 2021

  • 利用预训练的句子变换器在印度语言中进行冒犯性语言检测

    我们的研究探讨了恶意言论检测领域，特别关注孟加拉语、阿萨姆语和古吉拉特语这三种资源匮乏的印度语言。我们通过 HASOC 2023 数据集对预训练的 BERT 和 SBERT 模型进行微调，评估它们在恶意言论识别中的有效性。研究发现，单语句 BERT 模型表现出卓越的优势，特别是在孟加拉语方面表现最佳。然而，阿萨姆语和古吉拉特语的性能仍有改进的机会。我们的目标是通过打击恶意言论的泛滥来促进包容性的在线空间。

    Oct, 2023

  • 面向敌意检测的任务自适应 Transformer 预训练

    本篇研究通过使用 Task Adaptive Pretraining (TAPT) 来完善预训练的基于 Transformer 架构的分类器并结合表情符号和分段的标签来对 Hindi Tweets 进行自然语言粗分类，细分类以及 Twitter 内容分类识别，并在相关比赛中获得了较高的 F1 分数。

    Jan, 2021

  • 孟加拉语仇恨言论和冒犯性语言检测

    本研究针对 Bengali 等低资源语言在社交媒体上的仇恨言论进行研究，开发了一个定量数据集并建立了基线模型和一些额外的方法以更好地进行分类。在分析误分类之后，我们确认 XLM-Roberta 在单独训练 actual 或 rominized 数据集时表现最好。而在联合训练和小样本训练中，MuRIL 通过更好地解析语义表达比其他模型表现更优秀。

    Oct, 2022

  • HateCheckHIn：对印地语仇恨言论检测模型的评估

    针对社交媒体中存在的多语言仇恨言论，本文提出了一种针对多语言仇恨言论模型的功能集，被用于对现有模型的诊断分析。通过以印地语为基础语言，构建了 HateCheckHIn 评估数据集，测试了最先进的基于 Transformer 的 m-BERT 模型以及 Perspective API。

    Apr, 2022

  • 传递爱而不是仇恨：削弱仇恨预训练对于仇恨言论检测的重要性

    本文研究了针对原本有恶意情绪的文本进行预训练是否为识别恶意言论最佳的预训练方法，结果表明从目标领域的非恶意文本进行预训练可以提供类似或更好的结果，同时介绍了第一批公开开放的印度语 Hindi 和 Marathi 的基于 BERT 的分类模型 HindTweetBERT 和 MahaTweetBERT 。

    Oct, 2022

  • HateMonitors：社交媒体语言无关的滥用检测

    本文介绍了我们基于梯度提升机、BERT 和 LASER 嵌入式开发的 HateMonitor 模型，在 Indo-European Languages HASOC（FIRE 2019 的任务之一）中排名第一，用于令人讨厌和令人反感的内容识别。

    Sep, 2019