Mar, 2023

SemiMemes: 一种用于多模态 Memes 分析的半监督学习方法

PDF
TL;DR本篇研究提出一种多模态半监督学习方法，可用于探测社交媒体上的恶意图片，该方法结合了自动编码器和分类任务，通过 Contrastive Language-Image Pre-training 实现。在两个数据集上，该方法表现优于其他多模态半监督学习和有监督学习的现有模型。
发现论文，激发创造
  • 仇恨表情包检测的多模态学习

    本文提出了一种新的多模态方法，将图像字幕流程融合到恶意模因检测过程中，以提高其有效性，以在 Hateful Memes Detection Challenge 上取得了良好的结果。

    Nov, 2020

  • 恶毒模因挑战下一步

    本研究探讨了如何解决图片与文本混合的分类问题，尝试使用半监督学习技术生成更多可标注的恶意模因来提升分类准确率，但必须经过人工过滤和筛选。

    Dec, 2022

  • 多模态特征提取用于 Memes 情感分类

    本研究提出了一种使用深度学习方法进行多模态表情包分类的特征提取方法。通过使用不同的多模态神经网络方法进行多模态特征提取，我们可以训练出一个分类器来识别表情包中的情感。

    Jul, 2022

  • 单模态中间训练用于多模态的迷因情感分类

    借助图像和文本数据的非模态（仅图像和仅文本）的情感标记数据，提出了一种针对多模态网络迷因的分类器的监督中间训练的新方法，并证明了在模型性能不降低的情况下能够减少 40% 的已标记迷因训练集。

    Aug, 2023

  • 一种用于检测恶意模因的多模态框架

    本篇论文旨在针对多种形式的恶意言论，特别是采用 Memes 表达的恶意言论开发一种新的多模态框架，该框架通过交叉验证的集成学习等增强措施，有效提高了已有多模态方法的性能，并在 Facebook 组织的 2020 年恶意 Memes 挑战的第二阶段中获得了 AUROC 评分 80.53，位列第四。

    Dec, 2020

  • 多模态和可解释的网络模因分类

    本文针对当前因网络平台被用于地缘政治事件和社会问题而使得互联网谣言的信息审核变得更加困难，旨在设计实现一个多模态分类方法，利用文本和图像来识别有害的网络谣言，通过举例和原型推理比较示范算法之间的性能差异，为社区提供启发，同时设计一种用户友好的界面以方便对比分析结果。

    Dec, 2022

  • 使用多模态深度学习方法检测恶意表情包：恶意表情包挑战赛中获奖解决方案

    Hateful Memes Challenge 使用 VisualBERT 多模态训练进行恶意标记检测，在挑战测试集中取得了 0.811 AUROC 和 0.765 的准确率，获得了 3173 名参赛者中的第三名

    Dec, 2020

  • IITK 在 SemEval-2020 任务 8 中：对互联网模因进行单模态和双模态情感分析

    本文探讨了使用自然语言处理和计算机视觉技术进行情感分析的问题，研究人员使用双模态和单模态的方法，提出了一种使用 Word2vec 嵌入的前向神经网络的文本单模态方法，在情感分类任务中相对于其他方法有 63％的改进。

    Jul, 2020

  • 多模态 Meme 中的仇恨言论检测

    本文探讨在 Facebook Meme Challenge 中通过多模型和目标检测、图像说明和情感分析等技术的结合来解决恶意文本与图像的混淆问题以提高分类准确性。

    Dec, 2020

  • 基于领域感知的自监督预训练，用于标签少的模因分析

    我们提出了两种自监督预训练方法，即 Ext-PIE-Net 和 MM-SimCLR，通过采用现成的多模态仇恨言论数据和多个专门的预设任务实现了自监督学习，为模因分析提供了必要的复杂多模态表示学习，通过标签有效训练，在所有三个任务中性能优于基线并证实了我们的方法的泛化性。

    Sep, 2022