该研究针对社交媒体上流行的多模式互联网模因进行情感分析，人工标注了约 10,000 条模因标签，并涵盖情感和情感类型（讽刺，有趣，冒犯，积极影响）及其相应的强度，三项任务中分别取得了 F1 得分的最佳表现分别为 0.35、0.51 和 0.32。

Aug, 2020

本文探讨了使用自然语言处理和计算机视觉技术进行情感分析的问题，研究人员使用双模态和单模态的方法，提出了一种使用 Word2vec 嵌入的前向神经网络的文本单模态方法，在情感分类任务中相对于其他方法有 63％的改进。

Jul, 2020

我们介绍了一种基于 GPT-4 生成字幕的方法，通过 fine-tune RoBERTa 作为文本编码器和 CLIP 作为图像编码器，改进了以文本和图像为基础的表意编码，取得了明显的性能提升。

Apr, 2024

本研究探讨使用 BERT 为基础的模型，通过迁移学习方式在多种表现形式的文本和图像中进行细微调整来检测饱受欢迎的疫情行销手法，如梗图。我们还尝试了不同模型的集合效果，在三个子任务上分别获得了 57.0％，48.2％和 52.1％的 F1-score。

Jun, 2021

本研究提出了一种基于 CLIP 的新型模因情感分析框架，包括 CTM（任务 A 的合作教学模型）和 CEC（任务 B&C 的级联情感分类器），可准确分类来自社交媒体的模因的情感及其相应强度，取得了显著的结果。

Feb, 2023

分析互联网上的迷因已成为一项重要的任务，因为这种多模态内容在塑造在线言论方面具有重要影响力。本文介绍了 Memotion 3 共享任务的概述，作为 AAAI-23 会议中 DeFactify 2 研讨会的一部分。该任务发布了一份基于情感（任务 A）、情绪（任务 B）和情绪强度（任务 C）方面的标注数据集，并分别对每个任务的参与者进行排名。共有超过 50 个团队注册参与该共享任务，其中 5 个团队向 Memotion 3 数据集的测试集提交了最终结果。参与者中最流行的模型包括 CLIP、BERT 修改版、ViT 等，同时还采用了学生 - 教师模型、融合和集成等方法。任务 A 的最佳 F1 分数为 34.41，任务 B 为 79.77，任务 C 为 59.82。

Sep, 2023

本文提出了一种多模态架构，通过结合文本和视觉特征来检测具有女性仇恨倾向的 Internet 媒体，该解决方案在 SemEval-2022 Task 5：MAMI 挑战中所取得的最佳的成绩，其中包括对有羞辱、刻板印象、物化和暴力等亚类的分类。

Apr, 2022

本研究介绍了一个基于多模态特征和融合方法的计算模型，使用 XLNet 取得最高的加权 f1 分数 0.58，并在对多模态社交媒体 meme Troll 的分类任务中获得第三名。

Feb, 2021

本研究通过 BERT 和 Multi-Modal-Multi-Task transformer 等预训练模型将 MEMOTION 的表情包进行情感、幽默、进攻、讽刺和动机等分类，获得了该领域的多个任务奖项，并取得了最高平均分。

Feb, 2022

SemEval-2021 任务 6 描述了使用文本和图像进行说服技巧检测的数据、标注指南、评估设置、结果和参与系统，共吸引了 71 个注册和 22 个团队参与。该任务的重点在于检测拼贴图中的文本中使用的说服技巧，包括检测的技巧、文本跨度和拼贴图中的技巧。结果显示，在双模态中，文本和图像都很重要，一些团队采用联合模型建模了其交互作用，并获得了增益。

Apr, 2021