本研究探讨了使用视觉语言模型进行仇恨表情包检测和修正任务的能力，并通过实证实验证明了预训练的 LLaVA 模型在这些任务中的有效性和讨论了其优缺点。

Nov, 2023

本文主要研究通过使用视觉和语言网络来探索多模式情况下更全面的信息，应用预训练的分类器和目标检测器来获取上下文和 ROI，采用不同的嵌入组件如词嵌入，位置嵌入和语言嵌入，设计了互补的视觉和语言网络模型（CVL）来检测恶意图片并取得了较好的性能。

Dec, 2020

这项研究探讨了视觉语言模型在处理令人费解任务（如仇恨迷因检测）中的有效性，并观察到大型视觉语言模型在零样本仇恨迷因检测方面仍然存在脆弱性。

Feb, 2024

提高社交媒体内容的自动审查效率，本文探讨了不同的模型并比较其在内容分类上的效果，结果表明，早期融合模型中 CLIP 表现最佳，其 AUROC 值为 70.06。

May, 2023

本研究探讨了几种最新的视觉 - 语言 Transformer 结构，提出改进措施，以使它们在检测仇恨言论的任务中更接近于人类的准确性。提出的模型明显优于基准线，并在 3100 多个参赛者中排名第 5。

Dec, 2020

Hateful Memes Challenge 使用 VisualBERT 多模态训练进行恶意标记检测，在挑战测试集中取得了 0.811 AUROC 和 0.765 的准确率，获得了 3173 名参赛者中的第三名

Dec, 2020

本文介绍了一种利用图像字幕工具引入自动字幕以模拟图像内容和遮盖文本间的对比，在处理讨论是否具有仇恨色彩的 “违反社交规范” 的表情包挑战中，可以改进单模型和多模型。同时，在处理单模型中，继续在增强和原始字幕对上进行预训练，对于分类准确性有很大的益处。

Sep, 2021

本篇论文旨在针对多种形式的恶意言论，特别是采用 Memes 表达的恶意言论开发一种新的多模态框架，该框架通过交叉验证的集成学习等增强措施，有效提高了已有多模态方法的性能，并在 Facebook 组织的 2020 年恶意 Memes 挑战的第二阶段中获得了 AUROC 评分 80.53，位列第四。

Dec, 2020

通过图像字幕、OCR 和大型语言模型 (LLM) 分析来检测有害的 Internet 恶搞图片，并在新加坡的多元文化和多语言环境中实现对有害 MEME 的综合理解和分类。

Jun, 2024

本研究提出了一种名为 ISSUES 的新方法，利用预训练的 CLIP 视觉 - 语言模型和文本反转技术来有效捕捉多模态恶意网络迷因的语义内容，实现了在 Hateful Memes Challenge 和 HarMeme 数据集上最先进的结果。

Oct, 2023