本文探讨了使用自然语言处理和计算机视觉技术进行情感分析的问题，研究人员使用双模态和单模态的方法，提出了一种使用 Word2vec 嵌入的前向神经网络的文本单模态方法，在情感分类任务中相对于其他方法有 63％的改进。

Jul, 2020

本研究介绍了一个新颖的多模式多任务学习架构，该架构将 ALBERT 文本编码与 VGG-16 图像表示相结合，可用于分析互联网迷因，该方法在 SemEval-2020 Task 8 比赛的三个子任务中，均超过了官方基线结果。

Sep, 2020

分析互联网上的迷因已成为一项重要的任务，因为这种多模态内容在塑造在线言论方面具有重要影响力。本文介绍了 Memotion 3 共享任务的概述，作为 AAAI-23 会议中 DeFactify 2 研讨会的一部分。该任务发布了一份基于情感（任务 A）、情绪（任务 B）和情绪强度（任务 C）方面的标注数据集，并分别对每个任务的参与者进行排名。共有超过 50 个团队注册参与该共享任务，其中 5 个团队向 Memotion 3 数据集的测试集提交了最终结果。参与者中最流行的模型包括 CLIP、BERT 修改版、ViT 等，同时还采用了学生 - 教师模型、融合和集成等方法。任务 A 的最佳 F1 分数为 34.41，任务 B 为 79.77，任务 C 为 59.82。

Sep, 2023

本文介绍了一种针对互联网模因的多模态分类方法，通过考虑图像和文本之间的相对位置和面部嵌入来提高自动分类的准确性，实验结果表明，该方法优于传统基于 OCR 提取文本的分类方法

Mar, 2023

我们介绍了一种基于 GPT-4 生成字幕的方法，通过 fine-tune RoBERTa 作为文本编码器和 CLIP 作为图像编码器，改进了以文本和图像为基础的表意编码，取得了明显的性能提升。

Apr, 2024

通过构建计算机管道以研究多模态的字符与视觉元素构成的表情包，发现在不同社区之间存在有意义的表情包使用的社会差异，且这些社区内的表情包创新与文化适应模式与书面语言的先前研究结果相吻合。

Nov, 2023

本文介绍了 Memotion 3 数据集，其中包括了 10,000 个带有注释的印地语 - 英语混合表情包，以期更深入地研究这一新时代社交媒体幽默传递机制可能存在的信息误导和仇恨传递问题，并提供任务基准数据和代码。

Mar, 2023

本文提出一种新的多模态情感分析方法，使用深度神经网络结合视觉分析和自然语言处理，旨在推断用户潜在的情感状态并且在社交网络中应用此方法实现自我报告的情感标签的预测，实验证明该模型的性能优于仅基于图像或文本的单独模型，并具有与情绪相关的合理词汇列表。

May, 2018

本研究提出了一种使用深度学习方法进行多模态表情包分类的特征提取方法。通过使用不同的多模态神经网络方法进行多模态特征提取，我们可以训练出一个分类器来识别表情包中的情感。

Jul, 2022

本研究介绍了一个基于多模态特征和融合方法的计算模型，使用 XLNet 取得最高的加权 f1 分数 0.58，并在对多模态社交媒体 meme Troll 的分类任务中获得第三名。

Feb, 2021