EMNLPOct, 2022

Hate-CLIPper：基于 CLIP 特征交叉模态交互的多模式仇恨恶搞分类

PDF
TL;DR本研究提出 Hate-CLIPper 架构，利用对比语言 - 图像预训练 CLIP 编码器生成的图像和文本表示通过特征交互矩阵（FIM）显式建模图像和文本之间的跨模态交互，并采用简单分类器在 Hateful Memes 挑战数据集上实现了 85.8 的 AUROC，优于人类表现。
hateful memesmultimodal pre-trainingfeature interaction matrixclip encodersauroc
发现论文，激发创造
  • 多模态仇恨迷因分类中迷因与词汇的映射

    本研究提出了一种名为 ISSUES 的新方法，利用预训练的 CLIP 视觉 - 语言模型和文本反转技术来有效捕捉多模态恶意网络迷因的语义内容，实现了在 Hateful Memes Challenge 和 HarMeme 数据集上最先进的结果。

    Oct, 2023

  • 仇恨表情包检测的多模态学习

    本文提出了一种新的多模态方法，将图像字幕流程融合到恶意模因检测过程中，以提高其有效性，以在 Hateful Memes Detection Challenge 上取得了良好的结果。

    Nov, 2020

  • 通过检索引导的对比学习改进恶意模因检测，学习具有恶意感知能力的嵌入空间

    我们提出使用检索引导的对比训练构建一种恶意感知的嵌入空间，以解决现有基于 CLIP 的系统的嵌入空间对于正确恶意分类所需的微小差异缺乏敏感性的问题，并展示了一种基于检索的恶意违规表情包检测系统，该系统能够根据未在训练中见过的数据进行恶意分类，无需重新训练，适用于互联网恶意违规表情包不断演变的实际服务的持续更新。

    Nov, 2023

  • 使用多模态深度学习方法检测恶意表情包：恶意表情包挑战赛中获奖解决方案

    Hateful Memes Challenge 使用 VisualBERT 多模态训练进行恶意标记检测，在挑战测试集中取得了 0.811 AUROC 和 0.765 的准确率，获得了 3173 名参赛者中的第三名

    Dec, 2020

  • 一种用于检测恶意模因的多模态框架

    本篇论文旨在针对多种形式的恶意言论，特别是采用 Memes 表达的恶意言论开发一种新的多模态框架，该框架通过交叉验证的集成学习等增强措施，有效提高了已有多模态方法的性能，并在 Facebook 组织的 2020 年恶意 Memes 挑战的第二阶段中获得了 AUROC 评分 80.53，位列第四。

    Dec, 2020

  • 多模态仇恨表情包分类

    提出一种基于简单 Prompt 的预训练语言模型的分类方法，以解决针对具有文化背景的恶意表情包分类任务中，缺乏外部知识库提供文化信息的问题，并在两个公开的恶毒和冒犯表情包数据集上进行实验，其实验结果表明，PromptHate 能够实现高达 90.96 的 AUC，优于同类任务的最佳性能。

    Feb, 2023

  • 借助互补的视觉和语言网络检测恶意表情包

    本文主要研究通过使用视觉和语言网络来探索多模式情况下更全面的信息，应用预训练的分类器和目标检测器来获取上下文和 ROI，采用不同的嵌入组件如词嵌入，位置嵌入和语言嵌入，设计了互补的视觉和语言网络模型（CVL）来检测恶意图片并取得了较好的性能。

    Dec, 2020

  • CLIP 的多模态多标签分类

    设计一个学习算法来处理图像和文本两个数据源，通过使用对比语言图像预训练作为特征提取器并探索不同的分类头、融合方法和损失函数来学习全面的语义特征表示，最终在公共 Kaggle 竞赛排行榜上获得超过 90% 的 F_1 分数。本文通过实验结果提供了新的训练方法和定量分析的详细描述。

    Jun, 2024

  • MemeFier：图像模因分类的双阶段模态融合

    本论文提出了一种基于深度学习的、能够精细地分类互联网图像模因的架构 MemeFier，并在 Facebook Hateful Memes、Memotion7k 和 MultiOFF 等三个广泛采用的基准测试中进行了大量实验，结果表明该方法达到并在某些情况下超过了最先进水平。

    Apr, 2023

  • 多模态 Meme 中的仇恨言论检测

    本文探讨在 Facebook Meme Challenge 中通过多模型和目标检测、图像说明和情感分析等技术的结合来解决恶意文本与图像的混淆问题以提高分类准确性。

    Dec, 2020