Dec, 2023

印度 - 雅利安语言中的仇恨言论和冒犯内容检测：基于 LSTM 和 Transformers 的对抗

PDF
TL;DR该研究在五种不同语言中展开了对仇恨言论的广泛比较分析，使用多种预训练模型评估其在这些语言中识别仇恨言论的性能，并为多语言环境下构建强大的仇恨言论检测系统提供了有益的见解。
social media platformshate speechoffensive contentautomated methodsmultilingual settings
发现论文，激发创造
  • 探索基于 Transformer 的模型以识别英语和印度雅利安语中的仇恨言论和攻击性内容

    本篇论文探索了基于 Transformer 的多种机器学习模型，用于探测英语和印度 - 雅利安语中的仇恨言论和冒犯性内容，研究团队 “超级马里奥” 采用 mBERT、XLMR-large、XLMR-base 等多种模型，我们在 Code-Mixed 数据集排名第二（宏平均 F1：0.7107）、在印地语二分类中排名第二（宏平均 F1：0.7797）、在英语四分类中排名第四（宏平均 F1：0.8006），在英语二分类中排名第十二（宏平均 F1：0.6447）。

    Nov, 2021

  • 利用预训练的句子变换器在印度语言中进行冒犯性语言检测

    我们的研究探讨了恶意言论检测领域，特别关注孟加拉语、阿萨姆语和古吉拉特语这三种资源匮乏的印度语言。我们通过 HASOC 2023 数据集对预训练的 BERT 和 SBERT 模型进行微调，评估它们在恶意言论识别中的有效性。研究发现，单语句 BERT 模型表现出卓越的优势，特别是在孟加拉语方面表现最佳。然而，阿萨姆语和古吉拉特语的性能仍有改进的机会。我们的目标是通过打击恶意言论的泛滥来促进包容性的在线空间。

    Oct, 2023

  • 跨语言攻击性语言检测：来自社交媒体的孟加拉语、阿萨姆语和博多语对话仇恨内容的基于 BERT 的分析

    本文研究了在社交媒体领域中波斯尼亚语、塔吉克语、哈萨克语和蒙古语的仇恨言论检测的详细结果和关键发现。通过使用 BERT 模型，特别是 XML-Roberta-lagre，在大多数情况下，我们的成果表明其性能优于单语模型。我们的团队在任务 4 - 塔吉克语中获得第 3 名，在波斯尼亚语中获得第 5 名。

    Dec, 2023

  • 孟加拉语仇恨言论和冒犯性语言检测

    本研究针对 Bengali 等低资源语言在社交媒体上的仇恨言论进行研究，开发了一个定量数据集并建立了基线模型和一些额外的方法以更好地进行分类。在分析误分类之后，我们确认 XLM-Roberta 在单独训练 actual 或 rominized 数据集时表现最好。而在联合训练和小样本训练中，MuRIL 通过更好地解析语义表达比其他模型表现更优秀。

    Oct, 2022

  • 使用 Transformers 从多语代码混合文本中检测攻击性言论

    本论文提出了一种多语言自动化系统，使用机器学习和转换器来从混合语言的数据中识别带有冒犯性的文本，并在 Tamil、Malayalam 和 Kannada 三种语言的数据集上进行了测试。结果表明，该系统在不同语言上表现出不同的最佳表现方法，得分最高的是 m-BERT（Kannada）和 XLM-R（Tamil 和 Malayalam），系统性能达到了一定的水平。

    Feb, 2021

  • 利用 Transformer 模型检测会话式混合代码推文中的仇恨言论

    本文介绍了 MIDAS-IIITD 团队针对 HASOC 2021 二号子任务提出的系统，用于检测推特上混合使用印地语和英语的谈话中的仇恨言论。我们采用神经网络方法，并利用 transformer 的跨语言嵌入来进行低资源语录下的贴性言论分类，其中最佳表现的系统 [(Indic-BERT, XLM-RoBERTa, 和 Multilingual BERT) 的难度投票集成方法，Macro F1 得分达到 0.7253，排名第一。

    Dec, 2021

  • 基于 Transformer 深度学习的多语种仇恨言论分析与检测

    使用基于 Transformer 模型的算法来检测社交媒体上的仇恨言论，无论语言如意大利语、英语、德语还是孟加拉语，该模型的检测准确率较现有基准和最先进模型提高，其成功率达到了 89%（孟加拉语）、91%（英语和德语）以及 77%（意大利语）

    Jan, 2024

  • 利用多语言转换器来进行仇恨言论检测

    该论文基于 Transformer 语言模型，研究了在社交媒体文本中检测和分类仇恨的问题，并将其固定为三类，同时证明了多语言训练模式的有效性和特定特征对体系结构分类表现的影响。

    Jan, 2021

  • 孟加拉模因和文本的多模态仇恨言论检测

    本文旨在探讨利用机器学习和自然语言处理技术，通过分析包含图像和文本的 Bengali 跨媒体互动，检测恶意言论。我们准备了一个新颖的数据集，并使用双向长短时记忆网络、卷积神经网络、ResNet-152、DenseNet-161、monolingual Bangla BERT、multilingual BERT-cased/uncased 和 XLM-RoBERTa 等多种模型进行了实验，其中 XLM-RoBERTa+DenseNet-161 模型的 F1 得分最高为 0.83。

    Apr, 2022

  • 利用注意力机制循环神经网络在社交媒体上检测孟加拉仇恨言论

    通过使用编码器和解码器技术（encoder decoder），作者们提出了一种基于机器学习的模型来检测社交媒体中孟加拉语言使用者的仇恨言论。该模型使用了 1D 卷积层来提取和编码本地特征，并使用了注意机制、LSTM 和 GRU 解码器来预测仇恨言论的类别。经过评估，最佳的预测精度达到了 77%。

    Mar, 2022