本研究提出了 “形象化语言图像识别” 数据集，探讨了视觉和语言模型理解多模态形象化语言的难点，并借助基准任务和基线模型初步研究了这一问题。结果表明，所有的模型在多模态形象化语言理解上都不如人类。该数据集和基准任务将促进模型更好地理解形象化语言。

Mar, 2023

本文研究针对文本和图像组成的多模态出版物中仇恨言论的检测问题。 我们从 Twitter 收集和注释了大规模数据集 MMHS150K，并提出了不同的联合文本和视觉信息的模型用于比较仇恨言论检测中的单一模态检测，提供了定量和定性结果并分析了所提出任务的挑战。 我们发现，尽管图像对于仇恨言论检测任务很有用，但目前的多模态模型无法超越仅分析文本的模型。 我们讨论了原因并开放该领域和数据集以进行进一步研究。

Oct, 2019

本文通过分析图像、文本和多模型检测虚假新闻，特别是使用变形金刚模型的文本和多模型对索赔和阴谋检测任务的作用，确定图像在虚假新闻检测中的作用。

Mar, 2021

本文提供具有新颖性的英文 Reddit 帖子语料库，研究多模式社交媒体上图文情感信息的互补性，发现对于某些情感信息如愤怒和悲伤，多模式模型可以更好地预测；而对于某些信息如恶心、喜悦和惊讶，仅以文本信息便足够预测。

Feb, 2022

本文提出了一个多任务深度学习框架来同时检测夸张和隐喻，在使用 HYPO 和 HYPO-L 两个夸张数据集和 TroFi 和 LCC 两个隐喻数据集进行的实验中，证明了隐喻和夸张对于彼此检测是有帮助的，而且证实了多任务学习方法在隐喻和夸张检测中的优越性。

May, 2023

本文研究了关于讽刺新闻的多模态方法，并使用基于 ViLBERT 模型的新数据集对其进行评估，结果表明我们提出的多模态方法优于仅使用图像或文本或简单融合的方法。

Oct, 2020

提出了一个多模态学习模型，用于检测社交媒体上的图像改编，其中结合了从图像中提取的信息和知识库中相关信息，该方法在现有数据集和新数据集（MEIR）上都胜过现有技术，AUC 提升高达 0.23。

Aug, 2018

使用 CREENDER 开发了一个注释工具，用于创建图像和滥用评论的多模态数据集，该数据集在不同角度被分析，发现图像中是否存在人会增加触发攻击性评论的概率。

May, 2020

本文介绍了一个新的跨语言、跨国的深度学习模型，用于检测社交媒体平台上的虚假信息，包括图像和文本特征分析，详述了该模型使用的 MM-Claims 数据集，通过多模态模型的训练得出了一系列的结论和推荐。

May, 2022

本研究为现有多模式虚假信息检测技术提供了一份综述，重点关注了文本、图像、语音、视频、社交媒体网络结构和时间信息等多种组合形式，并探讨了未来研究的方向和挑战，同时提出需要在相同框架内考虑虚假信息的真实性和危害程度。

Mar, 2021