本研究探讨使用 BERT 为基础的模型，通过迁移学习方式在多种表现形式的文本和图像中进行细微调整来检测饱受欢迎的疫情行销手法，如梗图。我们还尝试了不同模型的集合效果，在三个子任务上分别获得了 57.0％，48.2％和 52.1％的 F1-score。

Jun, 2021

我们介绍了一种基于 GPT-4 生成字幕的方法，通过 fine-tune RoBERTa 作为文本编码器和 CLIP 作为图像编码器，改进了以文本和图像为基础的表意编码，取得了明显的性能提升。

Apr, 2024

本研究旨在通过改进模型训练方法和研究平衡与非平衡的训练数据集的影响，提高在迷因文本中多种具有说服力的技术的有效识别和分类。结果表明，使用释义进行训练可以提高模型性能，而平衡的训练集比较大但不平衡的训练集更有优势。

Jul, 2024

SemEval-2021 任务 6 描述了使用文本和图像进行说服技巧检测的数据、标注指南、评估设置、结果和参与系统，共吸引了 71 个注册和 22 个团队参与。该任务的重点在于检测拼贴图中的文本中使用的说服技巧，包括检测的技巧、文本跨度和拼贴图中的技巧。结果显示，在双模态中，文本和图像都很重要，一些团队采用联合模型建模了其交互作用，并获得了增益。

Apr, 2021

本文探讨了使用自然语言处理和计算机视觉技术进行情感分析的问题，研究人员使用双模态和单模态的方法，提出了一种使用 Word2vec 嵌入的前向神经网络的文本单模态方法，在情感分类任务中相对于其他方法有 63％的改进。

Jul, 2020

本篇研究提出一种多模态半监督学习方法，可用于探测社交媒体上的恶意图片，该方法结合了自动编码器和分类任务，通过 Contrastive Language-Image Pre-training 实现。在两个数据集上，该方法表现优于其他多模态半监督学习和有监督学习的现有模型。

Mar, 2023

本文提出了一种使用场景图和知识图作为结构化表示对旨在进行模因分类的 Transformer-based 模型的方法，并与 ImgBERT 模型进行了比较，发现使用场景图和知识图的方法能够获得一致的性能提升，自动生成的图表现出更好的针对 meme 的恶意分类性能。

May, 2023

本文针对当前因网络平台被用于地缘政治事件和社会问题而使得互联网谣言的信息审核变得更加困难，旨在设计实现一个多模态分类方法，利用文本和图像来识别有害的网络谣言，通过举例和原型推理比较示范算法之间的性能差异，为社区提供启发，同时设计一种用户友好的界面以方便对比分析结果。

Dec, 2022

本研究探讨了如何解决图片与文本混合的分类问题，尝试使用半监督学习技术生成更多可标注的恶意模因来提升分类准确率，但必须经过人工过滤和筛选。

Dec, 2022

本文提出了一种新的多模态方法，将图像字幕流程融合到恶意模因检测过程中，以提高其有效性，以在 Hateful Memes Detection Challenge 上取得了良好的结果。

Nov, 2020