Dec, 2022

多模态和可解释的网络模因分类

PDF
TL;DR本文针对当前因网络平台被用于地缘政治事件和社会问题而使得互联网谣言的信息审核变得更加困难，旨在设计实现一个多模态分类方法，利用文本和图像来识别有害的网络谣言，通过举例和原型推理比较示范算法之间的性能差异，为社区提供启发，同时设计一种用户友好的界面以方便对比分析结果。
发现论文，激发创造
  • 一种用于检测恶意模因的多模态框架

    本篇论文旨在针对多种形式的恶意言论，特别是采用 Memes 表达的恶意言论开发一种新的多模态框架，该框架通过交叉验证的集成学习等增强措施，有效提高了已有多模态方法的性能，并在 Facebook 组织的 2020 年恶意 Memes 挑战的第二阶段中获得了 AUROC 评分 80.53，位列第四。

    Dec, 2020

  • 通过大规模语言模型之间的多模态辩论实现可解释的有害表情包检测

    通过基于大型语言模型的多模态辩论和小型语言模型的调优，我们提出了一种可解释的方法来检测有害的互联网迷因，使模型能够对模糊和隐含的危害模式进行辨别，并提供可视化的解释。

    Jan, 2024

  • 仇恨表情包检测的多模态学习

    本文提出了一种新的多模态方法，将图像字幕流程融合到恶意模因检测过程中，以提高其有效性，以在 Hateful Memes Detection Challenge 上取得了良好的结果。

    Nov, 2020

  • 模因分析：通过多模态解释增进对网络欺凌的认识

    通过提出多模式解释与 CLIP 投影的多模式共享私有多任务方法，首次为混合代码网络欺凌迷因引入了一种鲜明的基准数据集，并通过实验结果证明，训练多模式解释可以提高生成文本解释的性能，并更准确地识别支持决策的视觉证据，从而可靠地提升性能。

    Jan, 2024

  • 多模态 Meme 中的仇恨言论检测

    本文探讨在 Facebook Meme Challenge 中通过多模型和目标检测、图像说明和情感分析等技术的结合来解决恶意文本与图像的混淆问题以提高分类准确性。

    Dec, 2020

  • 多模态仇恨迷因分类中迷因与词汇的映射

    本研究提出了一种名为 ISSUES 的新方法，利用预训练的 CLIP 视觉 - 语言模型和文本反转技术来有效捕捉多模态恶意网络迷因的语义内容，实现了在 Hateful Memes Challenge 和 HarMeme 数据集上最先进的结果。

    Oct, 2023

  • SemiMemes: 一种用于多模态 Memes 分析的半监督学习方法

    本篇研究提出一种多模态半监督学习方法，可用于探测社交媒体上的恶意图片，该方法结合了自动编码器和分类任务，通过 Contrastive Language-Image Pre-training 实现。在两个数据集上，该方法表现优于其他多模态半监督学习和有监督学习的现有模型。

    Mar, 2023

  • 恶毒模因挑战下一步

    本研究探讨了如何解决图片与文本混合的分类问题，尝试使用半监督学习技术生成更多可标注的恶意模因来提升分类准确率，但必须经过人工过滤和筛选。

    Dec, 2022

  • 检测有害模因及其攻击目标

    本研究提出了两种新的问题定义：检测有害的互联网模因及其攻击的社会实体，并提供了 HarMeme 数据集。评估结果表明，使用多模态信号对这两个任务都很重要，但是需要进一步研究来解决现有模式的局限性。

    Sep, 2021

  • 恶意模因挑战：在多模态模因中检测仇恨言论

    该研究提出了一个新的挑战，针对多模态模因素进行分类，专注于检测多模态模因素中的仇恨言论，并构造了一个难以依靠单模态信号的数据集，要求进行微妙的推理，证明了该任务的难度，并强调这个重要问题对社会的挑战。

    May, 2020