恶意模因挑战:在多模态模因中检测仇恨言论
本文探讨在 Facebook Meme Challenge 中通过多模型和目标检测、图像说明和情感分析等技术的结合来解决恶意文本与图像的混淆问题以提高分类准确性。
Dec, 2020
本篇论文旨在针对多种形式的恶意言论,特别是采用 Memes 表达的恶意言论开发一种新的多模态框架,该框架通过交叉验证的集成学习等增强措施,有效提高了已有多模态方法的性能,并在 Facebook 组织的 2020 年恶意 Memes 挑战的第二阶段中获得了 AUROC 评分 80.53,位列第四。
Dec, 2020
Hateful Memes Challenge 使用 VisualBERT 多模态训练进行恶意标记检测,在挑战测试集中取得了 0.811 AUROC 和 0.765 的准确率,获得了 3173 名参赛者中的第三名
Dec, 2020
本文提出了一种新的多模态方法,将图像字幕流程融合到恶意模因检测过程中,以提高其有效性,以在 Hateful Memes Detection Challenge 上取得了良好的结果。
Nov, 2020
本文研究针对文本和图像组成的多模态出版物中仇恨言论的检测问题。 我们从 Twitter 收集和注释了大规模数据集 MMHS150K,并提出了不同的联合文本和视觉信息的模型用于比较仇恨言论检测中的单一模态检测,提供了定量和定性结果并分析了所提出任务的挑战。 我们发现,尽管图像对于仇恨言论检测任务很有用,但目前的多模态模型无法超越仅分析文本的模型。 我们讨论了原因并开放该领域和数据集以进行进一步研究。
Oct, 2019
本文提出了一种名为 DisMultiHate 的新框架,通过对目标实体进行解缠来提高多模式 meme 中令人讨厌内容的分类和可解释性。实验结果表明 DisMultiHate 能够胜过单一模态和多模态基线,这个方法对于多模态令人讨厌内容的分类任务具有很好的解释性。
Aug, 2021
本文介绍了一种利用图像字幕工具引入自动字幕以模拟图像内容和遮盖文本间的对比,在处理讨论是否具有仇恨色彩的 “违反社交规范” 的表情包挑战中,可以改进单模型和多模型。同时,在处理单模型中,继续在增强和原始字幕对上进行预训练,对于分类准确性有很大的益处。
Sep, 2021
本研究探讨了几种最新的视觉 - 语言 Transformer 结构,提出改进措施,以使它们在检测仇恨言论的任务中更接近于人类的准确性。提出的模型明显优于基准线,并在 3100 多个参赛者中排名第 5。
Dec, 2020
该研究探讨了使用语义和多模态上下文来检测隐含和明确的仇恨言论,并且发现使用这种方法可以提高模型性能。同时还针对一批 5000 个多模态内容样本进行了高质量的注释,并将其释放为公开可用的语料库和代码。
Jun, 2021