Dec, 2020

使用多模态深度学习方法检测恶意表情包：恶意表情包挑战赛中获奖解决方案

PDF
TL;DRHateful Memes Challenge 使用 VisualBERT 多模态训练进行恶意标记检测，在挑战测试集中取得了 0.811 AUROC 和 0.765 的准确率，获得了 3173 名参赛者中的第三名
发现论文，激发创造
  • 一种用于检测恶意模因的多模态框架

    本篇论文旨在针对多种形式的恶意言论，特别是采用 Memes 表达的恶意言论开发一种新的多模态框架，该框架通过交叉验证的集成学习等增强措施，有效提高了已有多模态方法的性能，并在 Facebook 组织的 2020 年恶意 Memes 挑战的第二阶段中获得了 AUROC 评分 80.53，位列第四。

    Dec, 2020

  • 多模态 Meme 中的仇恨言论检测

    本文探讨在 Facebook Meme Challenge 中通过多模型和目标检测、图像说明和情感分析等技术的结合来解决恶意文本与图像的混淆问题以提高分类准确性。

    Dec, 2020

  • 恶意模因挑战：在多模态模因中检测仇恨言论

    该研究提出了一个新的挑战，针对多模态模因素进行分类，专注于检测多模态模因素中的仇恨言论，并构造了一个难以依靠单模态信号的数据集，要求进行微妙的推理，证明了该任务的难度，并强调这个重要问题对社会的挑战。

    May, 2020

  • 仇恨表情包检测的多模态学习

    本文提出了一种新的多模态方法，将图像字幕流程融合到恶意模因检测过程中，以提高其有效性，以在 Hateful Memes Detection Challenge 上取得了良好的结果。

    Nov, 2020

  • 使用多模深度集成检测恶意模因

    本研究探讨了几种最新的视觉 - 语言 Transformer 结构，提出改进措施，以使它们在检测仇恨言论的任务中更接近于人类的准确性。提出的模型明显优于基准线，并在 3100 多个参赛者中排名第 5。

    Dec, 2020

  • 孟加拉模因和文本的多模态仇恨言论检测

    本文旨在探讨利用机器学习和自然语言处理技术，通过分析包含图像和文本的 Bengali 跨媒体互动，检测恶意言论。我们准备了一个新颖的数据集，并使用双向长短时记忆网络、卷积神经网络、ResNet-152、DenseNet-161、monolingual Bangla BERT、multilingual BERT-cased/uncased 和 XLM-RoBERTa 等多种模型进行了实验，其中 XLM-RoBERTa+DenseNet-161 模型的 F1 得分最高为 0.83。

    Apr, 2022

  • 恶毒模因挑战下一步

    本研究探讨了如何解决图片与文本混合的分类问题，尝试使用半监督学习技术生成更多可标注的恶意模因来提升分类准确率，但必须经过人工过滤和筛选。

    Dec, 2022

  • 在线模因中的仇恨解构

    本文提出了一种名为 DisMultiHate 的新框架，通过对目标实体进行解缠来提高多模式 meme 中令人讨厌内容的分类和可解释性。实验结果表明 DisMultiHate 能够胜过单一模态和多模态基线，这个方法对于多模态令人讨厌内容的分类任务具有很好的解释性。

    Aug, 2021

  • ARC-NLP 在 2023 年多模态仇恨言论事件检测中的应用：多模态方法增强了集成学习、句法和实体特征

    文本嵌入图像用作传播仇恨言论、宣传和极端主义观点的手段。详情见摘要。

    Jul, 2023

  • 基于情感的仇恨言论多模态学习检测

    本文提出了首个多模式深度学习框架，将表达情感的音频特征与语义特征相结合，以检测有害的多媒体内容，包括暴力辱骂和冒犯性言论，结果表明，情感特征的结合可以明显提高系统的性能，同时我们也提出了一个新的有害言论检测视频数据集（HSDVD）以支持多模式学习。

    Feb, 2022