EMNLPSep, 2021

MOMENTA：一种检测有害模因及其目标的多模态框架

PDF
TL;DR本研究旨在探索检测和识别有害互联网迷因的方法和框架，对有害网络迷因和它们针对的社会实体进行研究分析，提出了一种名为 MOMENTA 的多模态深度神经网络方法，它可以系统分析输入迷因的局部和全局视角，并将其与背景上下文相关联。实验结果显示，MOMENTA 方法的性能优于其他类似方法。
发现论文，激发创造
  • 检测有害模因及其攻击目标

    本研究提出了两种新的问题定义：检测有害的互联网模因及其攻击的社会实体，并提供了 HarMeme 数据集。评估结果表明，使用多模态信号对这两个任务都很重要，但是需要进一步研究来解决现有模式的局限性。

    Sep, 2021

  • 一种用于检测恶意模因的多模态框架

    本篇论文旨在针对多种形式的恶意言论，特别是采用 Memes 表达的恶意言论开发一种新的多模态框架，该框架通过交叉验证的集成学习等增强措施，有效提高了已有多模态方法的性能，并在 Facebook 组织的 2020 年恶意 Memes 挑战的第二阶段中获得了 AUROC 评分 80.53，位列第四。

    Dec, 2020

  • 检测和理解有害的网络恶搞，一项调查

    该综述以有害网络迷因为研究对象，提出了新的分类方法，调查了相关研究现状，发现现有的数据集存在问题，迷因可通过多种语言进行传播，涉及的多模态语言和技术难题需要面对。

    May, 2022

  • 仇恨表情包检测的多模态学习

    本文提出了一种新的多模态方法，将图像字幕流程融合到恶意模因检测过程中，以提高其有效性，以在 Hateful Memes Detection Challenge 上取得了良好的结果。

    Nov, 2020

  • 揭示具多模态推理所精炼之大型语言模型背后的有害迷因

    本论文提出了一种基于多模态信息相互作用的先进推理的检测有害模因的方法，通过利用大型语言模型的推理能力和生成框架，实现了对有害模因的优化检测。实验证明该方法在有害模因检测任务上表现优于现有方法。

    Dec, 2023

  • 多模态和可解释的网络模因分类

    本文针对当前因网络平台被用于地缘政治事件和社会问题而使得互联网谣言的信息审核变得更加困难，旨在设计实现一个多模态分类方法，利用文本和图像来识别有害的网络谣言，通过举例和原型推理比较示范算法之间的性能差异，为社区提供启发，同时设计一种用户友好的界面以方便对比分析结果。

    Dec, 2022

  • 解读仇恨：辨识仇恨迷因及其目标

    提出 Bengali Hateful Memes（BHM）数据集以及用于检测恶意表情包和识别相关社会实体的 DORA 模型，该模型在低资源恶意表情包数据集上表现出色。

    Mar, 2024

  • 通过大规模语言模型之间的多模态辩论实现可解释的有害表情包检测

    通过基于大型语言模型的多模态辩论和小型语言模型的调优，我们提出了一种可解释的方法来检测有害的互联网迷因，使模型能够对模糊和隐含的危害模式进行辨别，并提供可视化的解释。

    Jan, 2024

  • DISARM: 检测受有害模因攻击的受害者

    该研究提出了一种名为 DISARM 的框架，它使用命名实体识别和个人识别来检测矫捷表达中的所有实体，并且可以识别其是否会造成伤害，通过在三个测试设置上进行系统实验，该模型相对其他模型表现较为稳定。

    May, 2022

  • 使用多模态深度学习方法检测恶意表情包：恶意表情包挑战赛中获奖解决方案

    Hateful Memes Challenge 使用 VisualBERT 多模态训练进行恶意标记检测，在挑战测试集中取得了 0.811 AUROC 和 0.765 的准确率，获得了 3173 名参赛者中的第三名

    Dec, 2020