Nov, 2023

通过检索引导的对比学习改进恶意模因检测，学习具有恶意感知能力的嵌入空间

PDF
TL;DR我们提出使用检索引导的对比训练构建一种恶意感知的嵌入空间，以解决现有基于 CLIP 的系统的嵌入空间对于正确恶意分类所需的微小差异缺乏敏感性的问题，并展示了一种基于检索的恶意违规表情包检测系统，该系统能够根据未在训练中见过的数据进行恶意分类，无需重新训练，适用于互联网恶意违规表情包不断演变的实际服务的持续更新。
hateful memesembedding spacecontrastive trainingclassificationdetection system
发现论文，激发创造
  • 借助互补的视觉和语言网络检测恶意表情包

    本文主要研究通过使用视觉和语言网络来探索多模式情况下更全面的信息，应用预训练的分类器和目标检测器来获取上下文和 ROI，采用不同的嵌入组件如词嵌入，位置嵌入和语言嵌入，设计了互补的视觉和语言网络模型（CVL）来检测恶意图片并取得了较好的性能。

    Dec, 2020

  • 使用多模态深度学习方法检测恶意表情包：恶意表情包挑战赛中获奖解决方案

    Hateful Memes Challenge 使用 VisualBERT 多模态训练进行恶意标记检测，在挑战测试集中取得了 0.811 AUROC 和 0.765 的准确率，获得了 3173 名参赛者中的第三名

    Dec, 2020

  • Hate-CLIPper：基于 CLIP 特征交叉模态交互的多模式仇恨恶搞分类

    本研究提出 Hate-CLIPper 架构，利用对比语言 - 图像预训练 CLIP 编码器生成的图像和文本表示通过特征交互矩阵（FIM）显式建模图像和文本之间的跨模态交互，并采用简单分类器在 Hateful Memes 挑战数据集上实现了 85.8 的 AUROC，优于人类表现。

    Oct, 2022

  • 一种用于检测恶意模因的多模态框架

    本篇论文旨在针对多种形式的恶意言论，特别是采用 Memes 表达的恶意言论开发一种新的多模态框架，该框架通过交叉验证的集成学习等增强措施，有效提高了已有多模态方法的性能，并在 Facebook 组织的 2020 年恶意 Memes 挑战的第二阶段中获得了 AUROC 评分 80.53，位列第四。

    Dec, 2020

  • 恶毒模因挑战下一步

    本研究探讨了如何解决图片与文本混合的分类问题，尝试使用半监督学习技术生成更多可标注的恶意模因来提升分类准确率，但必须经过人工过滤和筛选。

    Dec, 2022

  • 仇恨表情包检测的多模态学习

    本文提出了一种新的多模态方法，将图像字幕流程融合到恶意模因检测过程中，以提高其有效性，以在 Hateful Memes Detection Challenge 上取得了良好的结果。

    Nov, 2020

  • 多模态仇恨表情包分类

    提出一种基于简单 Prompt 的预训练语言模型的分类方法，以解决针对具有文化背景的恶意表情包分类任务中，缺乏外部知识库提供文化信息的问题，并在两个公开的恶毒和冒犯表情包数据集上进行实验，其实验结果表明，PromptHate 能够实现高达 90.96 的 AUC，优于同类任务的最佳性能。

    Feb, 2023

  • HateProof：恶意 Meme 检测系统真的稳健吗？

    社交媒体上传播仇恨的行为越来越多，其中包括使用多模态方式的恶意内容，容易被现有的检测系统所规避。本文通过对现有系统进行外部对抗攻击，检验了其脆弱性，并提出了使用对比学习和基于对抗训练的方法来提高鲁棒性。实验结果表明，使用这两种方法可以在某些攻击下重获性能。

    Feb, 2023

  • 通过丰富的字幕样本，提升仇恨模因检测

    本文介绍了一种利用图像字幕工具引入自动字幕以模拟图像内容和遮盖文本间的对比，在处理讨论是否具有仇恨色彩的 “违反社交规范” 的表情包挑战中，可以改进单模型和多模型。同时，在处理单模型中，继续在增强和原始字幕对上进行预训练，对于分类准确性有很大的益处。

    Sep, 2021

  • 多模态 Meme 中的仇恨言论检测

    本文探讨在 Facebook Meme Challenge 中通过多模型和目标检测、图像说明和情感分析等技术的结合来解决恶意文本与图像的混淆问题以提高分类准确性。

    Dec, 2020