仇恨表情包检测的多模态学习
本篇论文旨在针对多种形式的恶意言论,特别是采用 Memes 表达的恶意言论开发一种新的多模态框架,该框架通过交叉验证的集成学习等增强措施,有效提高了已有多模态方法的性能,并在 Facebook 组织的 2020 年恶意 Memes 挑战的第二阶段中获得了 AUROC 评分 80.53,位列第四。
Dec, 2020
本文探讨在 Facebook Meme Challenge 中通过多模型和目标检测、图像说明和情感分析等技术的结合来解决恶意文本与图像的混淆问题以提高分类准确性。
Dec, 2020
本研究提出了一种名为 ISSUES 的新方法,利用预训练的 CLIP 视觉 - 语言模型和文本反转技术来有效捕捉多模态恶意网络迷因的语义内容,实现了在 Hateful Memes Challenge 和 HarMeme 数据集上最先进的结果。
Oct, 2023
本文提出了一种名为 DisMultiHate 的新框架,通过对目标实体进行解缠来提高多模式 meme 中令人讨厌内容的分类和可解释性。实验结果表明 DisMultiHate 能够胜过单一模态和多模态基线,这个方法对于多模态令人讨厌内容的分类任务具有很好的解释性。
Aug, 2021
Hateful Memes Challenge 使用 VisualBERT 多模态训练进行恶意标记检测,在挑战测试集中取得了 0.811 AUROC 和 0.765 的准确率,获得了 3173 名参赛者中的第三名
Dec, 2020
本文介绍了一种利用图像字幕工具引入自动字幕以模拟图像内容和遮盖文本间的对比,在处理讨论是否具有仇恨色彩的 “违反社交规范” 的表情包挑战中,可以改进单模型和多模型。同时,在处理单模型中,继续在增强和原始字幕对上进行预训练,对于分类准确性有很大的益处。
Sep, 2021
该研究提出了一个新的挑战,针对多模态模因素进行分类,专注于检测多模态模因素中的仇恨言论,并构造了一个难以依靠单模态信号的数据集,要求进行微妙的推理,证明了该任务的难度,并强调这个重要问题对社会的挑战。
May, 2020
本文研究针对文本和图像组成的多模态出版物中仇恨言论的检测问题。 我们从 Twitter 收集和注释了大规模数据集 MMHS150K,并提出了不同的联合文本和视觉信息的模型用于比较仇恨言论检测中的单一模态检测,提供了定量和定性结果并分析了所提出任务的挑战。 我们发现,尽管图像对于仇恨言论检测任务很有用,但目前的多模态模型无法超越仅分析文本的模型。 我们讨论了原因并开放该领域和数据集以进行进一步研究。
Oct, 2019