本研究探讨了使用视觉语言模型进行仇恨表情包检测和修正任务的能力，并通过实证实验证明了预训练的 LLaVA 模型在这些任务中的有效性和讨论了其优缺点。

Nov, 2023

社交媒体上传播仇恨的行为越来越多，其中包括使用多模态方式的恶意内容，容易被现有的检测系统所规避。本文通过对现有系统进行外部对抗攻击，检验了其脆弱性，并提出了使用对比学习和基于对抗训练的方法来提高鲁棒性。实验结果表明，使用这两种方法可以在某些攻击下重获性能。

Feb, 2023

本文提出了一种新的多模态方法，将图像字幕流程融合到恶意模因检测过程中，以提高其有效性，以在 Hateful Memes Detection Challenge 上取得了良好的结果。

Nov, 2020

使用 Probing-Based Captioning 方法，通过向一个冻结的 PVLM 提问来生成图像标题，以解决令人讨厌的模因检测任务中的非信息性图像标题的问题，该方法在三个基准测试上验证了其有效性和泛化性。

Aug, 2023

本文介绍了一种利用图像字幕工具引入自动字幕以模拟图像内容和遮盖文本间的对比，在处理讨论是否具有仇恨色彩的 “违反社交规范” 的表情包挑战中，可以改进单模型和多模型。同时，在处理单模型中，继续在增强和原始字幕对上进行预训练，对于分类准确性有很大的益处。

Sep, 2021

Hateful Memes Challenge 使用 VisualBERT 多模态训练进行恶意标记检测，在挑战测试集中取得了 0.811 AUROC 和 0.765 的准确率，获得了 3173 名参赛者中的第三名

Dec, 2020

本研究旨在使用视觉信息自动检测互联网迷因中的仇恨言论。研究结果表明，在迷因中，视觉模态比语言模态更具信息量，但是仍然存在局限性。

Oct, 2019

本篇论文旨在针对多种形式的恶意言论，特别是采用 Memes 表达的恶意言论开发一种新的多模态框架，该框架通过交叉验证的集成学习等增强措施，有效提高了已有多模态方法的性能，并在 Facebook 组织的 2020 年恶意 Memes 挑战的第二阶段中获得了 AUROC 评分 80.53，位列第四。

Dec, 2020

本文探讨在 Facebook Meme Challenge 中通过多模型和目标检测、图像说明和情感分析等技术的结合来解决恶意文本与图像的混淆问题以提高分类准确性。

Dec, 2020

本文主要研究通过使用视觉和语言网络来探索多模式情况下更全面的信息，应用预训练的分类器和目标检测器来获取上下文和 ROI，采用不同的嵌入组件如词嵌入，位置嵌入和语言嵌入，设计了互补的视觉和语言网络模型（CVL）来检测恶意图片并取得了较好的性能。

Dec, 2020