May, 2023

MemeGraphs: 将 Memes 与知识图谱进行关联

PDF
TL;DR本文提出了一种使用场景图和知识图作为结构化表示对旨在进行模因分类的 Transformer-based 模型的方法，并与 ImgBERT 模型进行了比较，发现使用场景图和知识图的方法能够获得一致的性能提升，自动生成的图表现出更好的针对 meme 的恶意分类性能。
发现论文，激发创造
  • 在社交媒体平台上对互联网迷因进行语境化

    探索使用知识图谱来调查互联网迷因在社交媒体上的发布与流行，并借助知识图谱映射的概念来研究迷因在不同平台上的普及度、发现流行迷因以及选择常见迷因渠道和子论坛，并演示如何通过与知识图谱的关联，帮助用户获得社交媒体上迷因的背景信息。

    Nov, 2023

  • 多模态和可解释的网络模因分类

    本文针对当前因网络平台被用于地缘政治事件和社会问题而使得互联网谣言的信息审核变得更加困难，旨在设计实现一个多模态分类方法，利用文本和图像来识别有害的网络谣言，通过举例和原型推理比较示范算法之间的性能差异，为社区提供启发，同时设计一种用户友好的界面以方便对比分析结果。

    Dec, 2022

  • Twitter 上的 Memes 的语义搜索

    本文提出了并比较了几种用于自动分类表情包图像的方法，并提供了一种查询表情包的方法。该方法使用文本查询从大量的标注数据集中检索表情包，然而，虽然其中一些被评估的方法是有效的，但仍有改进的空间。

    Feb, 2020

  • BCAmirs 参与 SemEval-2024 第 4 项任务：超越言语：以多模态和多语言方式探索 Memes 中的说服力

    我们介绍了一种基于 GPT-4 生成字幕的方法，通过 fine-tune RoBERTa 作为文本编码器和 CLIP 作为图像编码器，改进了以文本和图像为基础的表意编码，取得了明显的性能提升。

    Apr, 2024

  • IITK 参与 SemEval-2024 任务 4: 模因中辨别说服技巧的分层嵌入

    利用 Class Definition Prediction 和超边缘嵌入方法构建的集成模型，提高了迷因分类的准确性和全面性，实现了多语言感化技巧的检测任务。

    Apr, 2024

  • 多模态空间编码和面部嵌入增强的 Meme 情感分析

    本文介绍了一种针对互联网模因的多模态分类方法，通过考虑图像和文本之间的相对位置和面部嵌入来提高自动分类的准确性，实验结果表明，该方法优于传统基于 OCR 提取文本的分类方法

    Mar, 2023

  • 学习使用 Denotation Graph 表示图片和文本

    本文提出利用暗示的视觉引导表达学习表示，自动地从图像和文本的数据集中挖掘出的结构关系，用于多模态学习模型中的视觉语言融合任务，证明了该方法在跨模态图片检索、指代表达和组合属性对象识别中的有效性。

    Oct, 2020

  • 社交媒体中的 Memes 聚类

    本研究提出了一种基于聚类的框架来检测社交数据流中的谣言，评估了基于内容、元数据、网络特征和它们的组合的各种相似度度量，并探索了预聚类的想法。系统评估表明，预聚类和异质特征的组合产生了最佳的聚类数量和质量的平衡，证明了一种简单的基于相似性的组合方式与参数优化同样有效。我们的方法是全自动、无监督的，并可实现流数据的实时检测。

    Oct, 2013

  • MemeCap: 用于字幕和解释 Memes 的数据集

    该研究介绍了一个新的数据集 MemeCap 及可视化模型综合能力的实验，验证了 VL 模型在理解 meme 中的视觉隐喻方面存在的问题。

    May, 2023

  • SemEval-2020 任务 8：情感分析 -- 视觉语言隐喻！

    该研究针对社交媒体上流行的多模式互联网模因进行情感分析，人工标注了约 10,000 条模因标签，并涵盖情感和情感类型（讽刺，有趣，冒犯，积极影响）及其相应的强度，三项任务中分别取得了 F1 得分的最佳表现分别为 0.35、0.51 和 0.32。

    Aug, 2020