Jun, 2022

利用 PhoBERT-CNN 和社交媒体流数据检测越南语仇恨和攻击

PDF
TL;DR本研究利用先进的预处理技术和多种实验验证，提出一种基于 PhoBERT 和 Text-CNN 模型的 HSD 模型来检测越南社交媒体上的仇恨言论，在应对数据不平衡的同时提高了分类模型的性能，通过实验结果验证，该模型在 ViHSD 和 HSD-VLSP 等数据集上获得了更高的 F1 得分，并且进一步构建了一种实用的流媒体应用程序以演示其实用性。
hate speech detectionpre-processing techniquesimbalanced dataphobert-cnn modelstreaming hsd application
发现论文，激发创造
  • 利用受害者的仇恨进行越南社交媒体文本中的仇恨言论检测

    社交媒体上激进内容的快速传播促使了对仇恨言论的检测任务的需求，本论文提供了一种构建用于针对性仇恨言论检测的系统的方法，并介绍了一个越南社交媒体文本的针对性仇恨言论检测数据集，并结合预训练语言模型与基于文本表征的 Bi-GRU-LSTM-CNN 模型建立了基线模型，最终提出了一种方法将该模型整合至在线流媒体系统，以在社交媒体上防止令人讨厌和冒犯性内容的实际应用。

    Apr, 2024

  • ViHateT5：使用统一的文本转换器模型增强越南语中的仇恨言论检测

    我们引入了基于 T5 架构的 ViHateT5 模型，该模型在我们提出的大规模领域特定数据集 VOZ-HSD 上进行了预训练，通过利用文本到文本架构的优势，ViHateT5 可以使用统一的模型处理多个任务，并在越南语的所有标准 HSD 基准测试中实现最先进的性能。

    May, 2024

  • 传统机器学习模型与神经网络模型在越南仇恨言论检测中的比较

    针对社交媒体上仇恨言论检测的问题，研究比较了传统机器学习和深度学习方法在越南社交媒体用户评论数据集上的表现，选出表现最好的两种模型，并引入混淆矩阵比较它们的优缺点，最终提出了一个传统方法与深度学习相结合的集成方法。

    Jan, 2020

  • ViHOS: 越南语仇恨言论跨度检测

    概述：该研究提出了 ViHOS 数据集，它是第一个包含 11k 条评论和 26k 个含有仇恨和攻击性言论的人工标注的数据集。通过使用各种最先进的模型进行实验，我们发现 XLM-R $_{Large}$ 在单个范围检测和所有范围检测方面取得了最佳的 F1 分数，而 PhoBERT $_{Large}$ 在多个范围检测方面获得了最高的分数。该研究的目的在于帮助解决社交网络平台上存在的恶意和攻击性言论的问题。

    Jan, 2023

  • 越南开放式社交媒体评论的建设性和有毒言论检测

    在本文中，我们使用越南自然语言处理中的 PhoBERT 等最先进的迁移学习模型，提出了一个用于建设性和有毒言论检测的系统，并使用 10000 个人工注释的评论创建了一个名为 UIT-ViCTSD 的数据集，从而解决了社交媒体评论质量低下和有害性问题。

    Mar, 2021

  • 基于 BERT 的集成方法用于仇恨言论检测

    本文聚焦于利用包括 BERT 在内的多个深度模型以及集成学习等技术，对社交媒体上的仇恨言论进行分类，使用三个公开 Twitter 数据集进行实验并考察多种方法的分类性能，最终以新数据集 DHO 进行多标签分类，取得了不错的成果，尤其在集成学习方面表现良好，如在 Davidson 数据集上采用 stacking 技术得到了 97% 的 F1 得分，而在 DHO 数据集上汇聚集成学习技术得到了 77% 的 F1 得分。

    Sep, 2022

  • ViSoBERT：用于越南社交媒体文本处理的预训练语言模型

    本文介绍了首个用于越南社交媒体文本的单语言预训练语言模型 ViSoBERT，该模型使用 XLM-R 架构，在大规模高质量多样化的越南社交媒体文本语料库上进行预训练，并在越南社交媒体文本的情绪识别、仇恨言论检测、情感分析、垃圾评论检测和仇恨言论跨度检测等五个重要的自然语言下游任务中超越了之前最先进的模型。

    Oct, 2023

  • 基于 BERT 模型的社交媒体仇恨言论检测及种族偏见缓解

    通过使用预训练语言模型 BERT 进行迁移学习，本文提出了一种在推特上进行种族主义、性别主义、仇恨性或冒犯性内容检测的算法，并将对算法进行合理地裁剪降低出现倾向性的缺陷。

    Aug, 2020

  • 基于 BERT 的在线社交媒体仇恨言论检测的迁移学习方法

    本研究提出了一种基于 BERT 和 Transfer Learning 的新型方案，以捕获社交媒体内容中的仇恨语境，并证明该方案能有效解决标注数据不足和存在偏差的问题，使得模型性能得到提升。

    Oct, 2019

  • VLSP 2019 活动中的 HSD 任务：针对社会善举的仇恨言论检测

    本文介绍了在 Vietnamese Language and Speech Processing（VLSP）2019 研讨会上，关于从 Facebook 上提取出的越南文本项目（即信息）中检测仇恨言论细微的存在的 “HateSpeech Detection”（HSD）任务的组织，是一个基于包含 25,431 个越南文本项的大规模数据集的多类别分类任务。该任务吸引了大量的参与者，并成为 VLSP 2019 的热门任务。

    Jul, 2020