May, 2023

基于知识增强的上下文化方法检测迷因的解释性证据

PDF
TL;DR该论文提出了一种新任务 MEMEX，旨在挖掘梗背后的背景信息，为此，他们开发了一个名为 MCC 的新数据集，同时提出了一种名为 MIME 的多模态神经框架，它使用常识丰富的梗表征和分层方法来捕捉梗和背景之间的跨模态语义依赖关系，获得了比最好基线高约 4％的 F1 分数。
发现论文，激发创造
  • 在社交媒体平台上对互联网迷因进行语境化

    探索使用知识图谱来调查互联网迷因在社交媒体上的发布与流行，并借助知识图谱映射的概念来研究迷因在不同平台上的普及度、发现流行迷因以及选择常见迷因渠道和子论坛，并演示如何通过与知识图谱的关联，帮助用户获得社交媒体上迷因的背景信息。

    Nov, 2023

  • 多模态和可解释的网络模因分类

    本文针对当前因网络平台被用于地缘政治事件和社会问题而使得互联网谣言的信息审核变得更加困难，旨在设计实现一个多模态分类方法，利用文本和图像来识别有害的网络谣言，通过举例和原型推理比较示范算法之间的性能差异，为社区提供启发，同时设计一种用户友好的界面以方便对比分析结果。

    Dec, 2022

  • 模因分析：通过多模态解释增进对网络欺凌的认识

    通过提出多模式解释与 CLIP 投影的多模式共享私有多任务方法，首次为混合代码网络欺凌迷因引入了一种鲜明的基准数据集，并通过实验结果证明，训练多模式解释可以提高生成文本解释的性能，并更准确地识别支持决策的视觉证据，从而可靠地提升性能。

    Jan, 2024

  • BCAmirs 参与 SemEval-2024 第 4 项任务：超越言语：以多模态和多语言方式探索 Memes 中的说服力

    我们介绍了一种基于 GPT-4 生成字幕的方法，通过 fine-tune RoBERTa 作为文本编码器和 CLIP 作为图像编码器，改进了以文本和图像为基础的表意编码，取得了明显的性能提升。

    Apr, 2024

  • 你 MEME 什么？生成 MEME 中的视觉语义角色标注解释

    本文介绍一项新的任务 —— 在网络迷因中生成用于语义角色标注的自然语言解释，并提出了 LUMEN—— 一种多模态、多任务学习框架，该框架通过联合学习正确的语义角色的预测和相应的自然语言解释的生成，最优化地解决了 EXCLAIM 任务，具有优异的性能表现。研究还使用 ExHVV 数据集进行了广泛和系统的评估和分析。

    Dec, 2022

  • MemeGraphs: 将 Memes 与知识图谱进行关联

    本文提出了一种使用场景图和知识图作为结构化表示对旨在进行模因分类的 Transformer-based 模型的方法，并与 ImgBERT 模型进行了比较，发现使用场景图和知识图的方法能够获得一致的性能提升，自动生成的图表现出更好的针对 meme 的恶意分类性能。

    May, 2023

  • 模板即是你的梗

    通过释放一个包含超过 54,000 个图片的知识库 (Know Your Meme Knowledge Base)，该研究提出了使用模因模板来增加机器学习系统对模因理解的背景上下文，进而创建了一个非参数多数投票分类器 (Template-Label Counter)，并在五个模因分析任务的背景下进行了分类实验和探索性数据分析。

    Nov, 2023

  • 可解释的孟加拉笑话的多模态情感分析

    本研究采用 ResNet50 和 BanglishBERT 的多模态方法，在低资源语言（如孟加拉语）的 memes 情感分析中取得了令人满意的 0.71 的加权 F1 分数，并通过可解释人工智能（XAI）技术对模型的行为进行解释性分析。

    Dec, 2023

  • MOMENTA：一种检测有害模因及其目标的多模态框架

    本研究旨在探索检测和识别有害互联网迷因的方法和框架，对有害网络迷因和它们针对的社会实体进行研究分析，提出了一种名为 MOMENTA 的多模态深度神经网络方法，它可以系统分析输入迷因的局部和全局视角，并将其与背景上下文相关联。实验结果显示，MOMENTA 方法的性能优于其他类似方法。

    Sep, 2021

  • MemeCap: 用于字幕和解释 Memes 的数据集

    该研究介绍了一个新的数据集 MemeCap 及可视化模型综合能力的实验，验证了 VL 模型在理解 meme 中的视觉隐喻方面存在的问题。

    May, 2023