Sep, 2021

面向表达性互联网模因通信：一种新的多模态对话数据集和基准

PDF
TL;DR本研究提出了一个新的任务 MOD，该任务需要模型能够理解多模态元素和其背后的情感，为此建立了一个大规模的开放域多模态对话数据集，其中包含约 45K 个对话和 606K 个话语，平均每个话语都包含 4 个互联网模因，并用相应的情感进行了注释。研究还提出了一种简单而有效的方法，该方法利用统一的生成网络解决 MOD 任务。实验结果表明，该方法能够在训练时实现包括文本和互联网模因的表达式交流。
internet memesopen-domain dialoguemultimodalemotionsdataset
发现论文，激发创造
  • 构建与互联网迷因融合的开放领域对话系统

    本文研究了互联网用户在在线聊天中使用互联网梗的行为，并提出了一个综合方案，利用大规模预训练的对话模型进行响应生成，基于交互式文本匹配检索适当的互联网梗以及实现对话情感流的建模并且通过情感描述预测辅助任务提高互联网梗情感分类性能。在 MOD 数据集的实验结果表明，我们的方法可以有效地将互联网梗整合到对话系统中。

    Mar, 2022

  • SemEval-2020 任务 8：情感分析 -- 视觉语言隐喻！

    该研究针对社交媒体上流行的多模式互联网模因进行情感分析，人工标注了约 10,000 条模因标签，并涵盖情感和情感类型（讽刺，有趣，冒犯，积极影响）及其相应的强度，三项任务中分别取得了 F1 得分的最佳表现分别为 0.35、0.51 和 0.32。

    Aug, 2020

  • IITK 在 SemEval-2020 任务 8 中：对互联网模因进行单模态和双模态情感分析

    本文探讨了使用自然语言处理和计算机视觉技术进行情感分析的问题，研究人员使用双模态和单模态的方法，提出了一种使用 Word2vec 嵌入的前向神经网络的文本单模态方法，在情感分类任务中相对于其他方法有 63％的改进。

    Jul, 2020

  • BCAmirs 参与 SemEval-2024 第 4 项任务：超越言语：以多模态和多语言方式探索 Memes 中的说服力

    我们介绍了一种基于 GPT-4 生成字幕的方法，通过 fine-tune RoBERTa 作为文本编码器和 CLIP 作为图像编码器，改进了以文本和图像为基础的表意编码，取得了明显的性能提升。

    Apr, 2024

  • EXMODD: 一个解释性多模态开放领域对话数据集

    通过 Multimodal Data Construction Framework (MDCF) 自动生成 Explanatory Multimodal Open-Domain dialogue dataset (EXMODD)，同时提高数据生成质量和可解释性以降低数据收集成本。

    Oct, 2023

  • 可解释的孟加拉笑话的多模态情感分析

    本研究采用 ResNet50 和 BanglishBERT 的多模态方法，在低资源语言（如孟加拉语）的 memes 情感分析中取得了令人满意的 0.71 的加权 F1 分数，并通过可解释人工智能（XAI）技术对模型的行为进行解释性分析。

    Dec, 2023

  • 单模态中间训练用于多模态的迷因情感分类

    借助图像和文本数据的非模态（仅图像和仅文本）的情感标记数据，提出了一种针对多模态网络迷因的分类器的监督中间训练的新方法，并证明了在模型性能不降低的情况下能够减少 40% 的已标记迷因训练集。

    Aug, 2023

  • UPB 在 SemEval-2020 任务 8 中：多任务学习体系结构中的文本和视觉建模用于情感分析

    本研究介绍了一个新颖的多模式多任务学习架构，该架构将 ALBERT 文本编码与 VGG-16 图像表示相结合，可用于分析互联网迷因，该方法在 SemEval-2020 Task 8 比赛的三个子任务中，均超过了官方基线结果。

    Sep, 2020

  • MELD：情感识别对话中的多模态多方数据集

    提出了一个多模态的语音情感对话数据集 MELD，包含超过两个演讲者的大规模多模态多方情感对话，并且证明了情境和多模态信息对会话中的情感识别的重要性。

    Oct, 2018

  • 社交媒体上的多模式聊天数据集

    探索利用图片等多模态语境来改善对话系统，使用自然语言数据集 MMChat，通过人工筛选和过滤得到 MMChat-hf，利用注意力机制改善生成任务的稀疏性，结果表明引入图片特征的有效性和处理稀疏性的效力。

    Aug, 2021