本研究提出了一种基于 CLIP 的新型模因情感分析框架，包括 CTM（任务 A 的合作教学模型）和 CEC（任务 B&C 的级联情感分类器），可准确分类来自社交媒体的模因的情感及其相应强度，取得了显著的结果。

Feb, 2023

分析互联网上的迷因已成为一项重要的任务，因为这种多模态内容在塑造在线言论方面具有重要影响力。本文介绍了 Memotion 3 共享任务的概述，作为 AAAI-23 会议中 DeFactify 2 研讨会的一部分。该任务发布了一份基于情感（任务 A）、情绪（任务 B）和情绪强度（任务 C）方面的标注数据集，并分别对每个任务的参与者进行排名。共有超过 50 个团队注册参与该共享任务，其中 5 个团队向 Memotion 3 数据集的测试集提交了最终结果。参与者中最流行的模型包括 CLIP、BERT 修改版、ViT 等，同时还采用了学生 - 教师模型、融合和集成等方法。任务 A 的最佳 F1 分数为 34.41，任务 B 为 79.77，任务 C 为 59.82。

Sep, 2023

本研究介绍了一个新颖的多模式多任务学习架构，该架构将 ALBERT 文本编码与 VGG-16 图像表示相结合，可用于分析互联网迷因，该方法在 SemEval-2020 Task 8 比赛的三个子任务中，均超过了官方基线结果。

Sep, 2020

我们介绍了一种基于 GPT-4 生成字幕的方法，通过 fine-tune RoBERTa 作为文本编码器和 CLIP 作为图像编码器，改进了以文本和图像为基础的表意编码，取得了明显的性能提升。

Apr, 2024

该研究针对社交媒体上流行的多模式互联网模因进行情感分析，人工标注了约 10,000 条模因标签，并涵盖情感和情感类型（讽刺，有趣，冒犯，积极影响）及其相应的强度，三项任务中分别取得了 F1 得分的最佳表现分别为 0.35、0.51 和 0.32。

Aug, 2020

本文探讨了使用自然语言处理和计算机视觉技术进行情感分析的问题，研究人员使用双模态和单模态的方法，提出了一种使用 Word2vec 嵌入的前向神经网络的文本单模态方法，在情感分类任务中相对于其他方法有 63％的改进。

Jul, 2020

本研究探讨使用 BERT 为基础的模型，通过迁移学习方式在多种表现形式的文本和图像中进行细微调整来检测饱受欢迎的疫情行销手法，如梗图。我们还尝试了不同模型的集合效果，在三个子任务上分别获得了 57.0％，48.2％和 52.1％的 F1-score。

Jun, 2021

本文介绍了 Memotion 3 数据集，其中包括了 10,000 个带有注释的印地语 - 英语混合表情包，以期更深入地研究这一新时代社交媒体幽默传递机制可能存在的信息误导和仇恨传递问题，并提供任务基准数据和代码。

Mar, 2023

本研究采用 ResNet50 和 BanglishBERT 的多模态方法，在低资源语言（如孟加拉语）的 memes 情感分析中取得了令人满意的 0.71 的加权 F1 分数，并通过可解释人工智能（XAI）技术对模型的行为进行解释性分析。

Dec, 2023

本研究探讨了如何解决图片与文本混合的分类问题，尝试使用半监督学习技术生成更多可标注的恶意模因来提升分类准确率，但必须经过人工过滤和筛选。

Dec, 2022