分析互联网上的迷因已成为一项重要的任务，因为这种多模态内容在塑造在线言论方面具有重要影响力。本文介绍了 Memotion 3 共享任务的概述，作为 AAAI-23 会议中 DeFactify 2 研讨会的一部分。该任务发布了一份基于情感（任务 A）、情绪（任务 B）和情绪强度（任务 C）方面的标注数据集，并分别对每个任务的参与者进行排名。共有超过 50 个团队注册参与该共享任务，其中 5 个团队向 Memotion 3 数据集的测试集提交了最终结果。参与者中最流行的模型包括 CLIP、BERT 修改版、ViT 等，同时还采用了学生 - 教师模型、融合和集成等方法。任务 A 的最佳 F1 分数为 34.41，任务 B 为 79.77，任务 C 为 59.82。

Sep, 2023

本研究采用 ResNet50 和 BanglishBERT 的多模态方法，在低资源语言（如孟加拉语）的 memes 情感分析中取得了令人满意的 0.71 的加权 F1 分数，并通过可解释人工智能（XAI）技术对模型的行为进行解释性分析。

Dec, 2023

该研究针对社交媒体上流行的多模式互联网模因进行情感分析，人工标注了约 10,000 条模因标签，并涵盖情感和情感类型（讽刺，有趣，冒犯，积极影响）及其相应的强度，三项任务中分别取得了 F1 得分的最佳表现分别为 0.35、0.51 和 0.32。

Aug, 2020

本研究提出了一个新的任务 MOD，该任务需要模型能够理解多模态元素和其背后的情感，为此建立了一个大规模的开放域多模态对话数据集，其中包含约 45K 个对话和 606K 个话语，平均每个话语都包含 4 个互联网模因，并用相应的情感进行了注释。研究还提出了一种简单而有效的方法，该方法利用统一的生成网络解决 MOD 任务。实验结果表明，该方法能够在训练时实现包括文本和互联网模因的表达式交流。

Sep, 2021

本文介绍了 EmoMix-3L，这是一个包含来自三种不同语言的代码混合数据的新颖多标签情感检测数据集。我们在 EmoMix-3L 上尝试了几种模型，并报告称 MuRIL 在该数据集上的表现优于其他模型。

May, 2024

本文探讨了使用自然语言处理和计算机视觉技术进行情感分析的问题，研究人员使用双模态和单模态的方法，提出了一种使用 Word2vec 嵌入的前向神经网络的文本单模态方法，在情感分类任务中相对于其他方法有 63％的改进。

Jul, 2020

本文介绍了一种利用 CNN 和 LSTM 模型处理图像和文本的二元信道模型，用于检测由多模态数据组成的具有仇恨和攻击性的内容，针对由代码切换的语言组成的文本部分的印度政治 Memes 数据集进行了研究。

Apr, 2022

本研究提出了一种基于 CLIP 的新型模因情感分析框架，包括 CTM（任务 A 的合作教学模型）和 CEC（任务 B&C 的级联情感分类器），可准确分类来自社交媒体的模因的情感及其相应强度，取得了显著的结果。

Feb, 2023

本研究创建了一个巨大的印地语对话数据集 EmoInHindi，用于多标签情感和强度识别。研究着重于表达和识别上下文语境中的情感。

May, 2022

使用社交媒体平台增加了信息共享，也导致在线滥用的急剧增加。Memes 是一种滥用个人或社群的简单而有效的方式，因此有必要开发检测和标记滥用 Memes 的高效模型。本文构建了一个孟加拉 Memes 数据集，并使用该数据集实现了多种基准模型来对滥用 Memes 进行分类。我们观察到使用文本和视觉信息的多模态模型优于单模态模型，最佳模型的宏 F1 分数达到了 70.51。最后，我们对最佳文本、图像和多模态模型的错误分类的 Memes 进行了定性错误分析。

Oct, 2023