本文介绍了一种针对互联网模因的多模态分类方法，通过考虑图像和文本之间的相对位置和面部嵌入来提高自动分类的准确性，实验结果表明，该方法优于传统基于 OCR 提取文本的分类方法

Mar, 2023

本研究介绍了一个新颖的多模式多任务学习架构，该架构将 ALBERT 文本编码与 VGG-16 图像表示相结合，可用于分析互联网迷因，该方法在 SemEval-2020 Task 8 比赛的三个子任务中，均超过了官方基线结果。

Sep, 2020

提出了 AM^2-EmoJE 模型，通过联合嵌入学习实现了在对话中通过自适应缺失模态的情感识别，该模型不仅相比与最先进的多模态方法展示了更优越的性能，还通过有效地利用肢体语言取代面部表情，展示了增强的隐私特性。

Jan, 2024

该研究针对社交媒体上流行的多模式互联网模因进行情感分析，人工标注了约 10,000 条模因标签，并涵盖情感和情感类型（讽刺，有趣，冒犯，积极影响）及其相应的强度，三项任务中分别取得了 F1 得分的最佳表现分别为 0.35、0.51 和 0.32。

Aug, 2020

本研究提出了一种使用深度学习方法进行多模态表情包分类的特征提取方法。通过使用不同的多模态神经网络方法进行多模态特征提取，我们可以训练出一个分类器来识别表情包中的情感。

Jul, 2022

本论文研究联合语音 - 文本 Embeddings 空间的内在属性，借助自动语音识别，通过多任务预训练场景实现语义对齐，利用定量检索精度度量语义对齐，进行了深入分析。

Apr, 2022

本文介绍一种基于 Transformer 的联合编码方法，用于情感识别和情感分析，已提交至 ACL20 多模式语言比赛评估。

Jun, 2020

本文提出一个基于多跳注意力深度神经网络的 MHA-MEME 框架，用于解决 “SemEval'20-Memotion Analysis” 竞赛中的情感分类、情感分类和情感类数量化三个子任务，并证明其在这三个任务中优于传统基线，同时还验证了其泛化性和可解释性。

Mar, 2021

本文提出了一种基于多模态对比目标的句子嵌入学习方法，利用同时包含视觉和文本信息的数据提高了语义相似性任务的性能，并通过分析文本嵌入空间的性质解释了本方法提高性能的原因。

Apr, 2022

本研究提出了一种基于 CLIP 的新型模因情感分析框架，包括 CTM（任务 A 的合作教学模型）和 CEC（任务 B&C 的级联情感分类器），可准确分类来自社交媒体的模因的情感及其相应强度，取得了显著的结果。

Feb, 2023