ICCVOct, 2023

多模态仇恨迷因分类中迷因与词汇的映射

PDF
TL;DR本研究提出了一种名为 ISSUES 的新方法，利用预训练的 CLIP 视觉 - 语言模型和文本反转技术来有效捕捉多模态恶意网络迷因的语义内容，实现了在 Hateful Memes Challenge 和 HarMeme 数据集上最先进的结果。
multimodal image-text memeshateful memesmultimodal contextissuesclip vision-language model
发现论文，激发创造
  • 仇恨表情包检测的多模态学习

    本文提出了一种新的多模态方法，将图像字幕流程融合到恶意模因检测过程中，以提高其有效性，以在 Hateful Memes Detection Challenge 上取得了良好的结果。

    Nov, 2020

  • Hate-CLIPper：基于 CLIP 特征交叉模态交互的多模式仇恨恶搞分类

    本研究提出 Hate-CLIPper 架构，利用对比语言 - 图像预训练 CLIP 编码器生成的图像和文本表示通过特征交互矩阵（FIM）显式建模图像和文本之间的跨模态交互，并采用简单分类器在 Hateful Memes 挑战数据集上实现了 85.8 的 AUROC，优于人类表现。

    Oct, 2022

  • 一种用于检测恶意模因的多模态框架

    本篇论文旨在针对多种形式的恶意言论，特别是采用 Memes 表达的恶意言论开发一种新的多模态框架，该框架通过交叉验证的集成学习等增强措施，有效提高了已有多模态方法的性能，并在 Facebook 组织的 2020 年恶意 Memes 挑战的第二阶段中获得了 AUROC 评分 80.53，位列第四。

    Dec, 2020

  • 在线模因中的仇恨解构

    本文提出了一种名为 DisMultiHate 的新框架，通过对目标实体进行解缠来提高多模式 meme 中令人讨厌内容的分类和可解释性。实验结果表明 DisMultiHate 能够胜过单一模态和多模态基线，这个方法对于多模态令人讨厌内容的分类任务具有很好的解释性。

    Aug, 2021

  • 多模态 Meme 中的仇恨言论检测

    本文探讨在 Facebook Meme Challenge 中通过多模型和目标检测、图像说明和情感分析等技术的结合来解决恶意文本与图像的混淆问题以提高分类准确性。

    Dec, 2020

  • 使用多模态深度学习方法检测恶意表情包：恶意表情包挑战赛中获奖解决方案

    Hateful Memes Challenge 使用 VisualBERT 多模态训练进行恶意标记检测，在挑战测试集中取得了 0.811 AUROC 和 0.765 的准确率，获得了 3173 名参赛者中的第三名

    Dec, 2020

  • 恶意模因挑战：在多模态模因中检测仇恨言论

    该研究提出了一个新的挑战，针对多模态模因素进行分类，专注于检测多模态模因素中的仇恨言论，并构造了一个难以依靠单模态信号的数据集，要求进行微妙的推理，证明了该任务的难度，并强调这个重要问题对社会的挑战。

    May, 2020

  • 多模态和可解释的网络模因分类

    本文针对当前因网络平台被用于地缘政治事件和社会问题而使得互联网谣言的信息审核变得更加困难，旨在设计实现一个多模态分类方法，利用文本和图像来识别有害的网络谣言，通过举例和原型推理比较示范算法之间的性能差异，为社区提供启发，同时设计一种用户友好的界面以方便对比分析结果。

    Dec, 2022

  • 通过丰富的字幕样本，提升仇恨模因检测

    本文介绍了一种利用图像字幕工具引入自动字幕以模拟图像内容和遮盖文本间的对比，在处理讨论是否具有仇恨色彩的 “违反社交规范” 的表情包挑战中，可以改进单模型和多模型。同时，在处理单模型中，继续在增强和原始字幕对上进行预训练，对于分类准确性有很大的益处。

    Sep, 2021

  • 多模式出版物中仇恨言论检测的探讨

    本文研究针对文本和图像组成的多模态出版物中仇恨言论的检测问题。 我们从 Twitter 收集和注释了大规模数据集 MMHS150K，并提出了不同的联合文本和视觉信息的模型用于比较仇恨言论检测中的单一模态检测，提供了定量和定性结果并分析了所提出任务的挑战。 我们发现，尽管图像对于仇恨言论检测任务很有用，但目前的多模态模型无法超越仅分析文本的模型。 我们讨论了原因并开放该领域和数据集以进行进一步研究。

    Oct, 2019