通过分析新闻的文本和图像内容，本文提出了 GraMuFeN 模型，结合了图卷积神经网络和卷积神经网络的输出，并应用对比相似度损失函数，取得了显著的结果，用于检测社交媒体中的虚假消息。

Oct, 2023

本文围绕多模态虚假新闻检测问题，提出了一种新的提取多模态线索的框架，该框架能够充分地考虑图像文本的三种关系，并在实验证明其优于现有文献的方法。

Aug, 2021

本文提出了三种基于多模态 transformer 的假新闻检测模型，并通过深入分析操纵数据的方法来探索这些模型在社交媒体上实际使用情况下的性能。研究发现，这些系统在面临被操纵的数据时会出现显著性能下降。为了减少偏差并改善模型的推广能力，本文建议使用数据增强技术对社交媒体上的假新闻检测进行更有意义的实验。所提出的数据增强技术使得模型的泛化能力得到了提高，并获得了最先进的效果。

May, 2023

使用机器学习分类模型是打击假新闻传播的有效方法，但缺乏有效的全面数据集一直是假新闻研究和检测模型发展的问题。Fakeddit 是一个新颖的多模态数据集，包括一百万个多个类别的假新闻样本，并通过远程监督进行两种，三种和六种分类。我们构建了混合文本 + 图像模型并进行了多个变体的分类实验，证明了 Fakeddits 的多模式和精细分类的重要性。

Nov, 2019

本文提出一种新的多模式媒体伪造问题，即检测和定位多模式媒体操纵（DGM^4），构建第一个数据集，并提出了一种新的 HierArchical 多模式操作推理变压器（HAMMER）方法来捕捉不同模态之间的细粒度交互以及在不同的深度上检测和定位操纵。

Apr, 2023

本篇研究提出了一个基于相似性感知的多模态提示学习框架 (SAMPLE) 用于检测假新闻，通过三种提示模板和一种软性描述器分析，并采用自适应融合方法来减少因不相关的交叉模态特征注入噪音，实验表明相较于先前方法，SAMPLE 在两个基准多模态数据集中的 F1 值和准确性均有所提高。另外，SAMPLE 不论在少量数据或是数据丰富的情况下都优于其他方法。

Apr, 2023

本研究提出了一种用于识别社交媒体新闻帖子中视频外观和文本标题之间语义不一致的分类架构，通过使用基于文本分析、自动音频转录、语义视频分析、对象检测、命名实体一致性和面部验证的多模态融合框架来发现社交媒体帖子中的视频和标题之间的不匹配。通过训练和测试基于 4,000 个 Facebook 新闻帖子的新视频数据集，我们的多模态方法在随机标题和外观不匹配的情况下实现了 60.5％的分类准确性，而单模分别准确率不到 50％。进一步的消融研究证实了跨模态融合对于正确识别语义不一致性的必要性。

May, 2021

本文针对多媒体假新闻检测方法鲁棒性差的问题，提出了一种系统的鲁棒性评估方法，并通过 5 种对抗攻击和 2 种后门攻击实验验证，结果表明通过防御机制可以提高多模式检测器的鲁棒性。

Jun, 2022

多模态媒体篡改的检测和处理是一个新的研究问题，本文提出了 DGM^4 数据集和 HAMMER 模型，用于多模态媒体的真伪检测和篡改内容的处理。

Sep, 2023

本文提出了一种名为 Multi-domain Visual Neural Network (MVNN) 的框架，该框架将频率和像素域的视觉信息融合起来用于检测假新闻图像。在真实数据集上的实验表明，MVNN 比现有方法至少提高了 9.2% 的准确度，并可帮助提高超过 5.2% 的多模态假新闻检测性能。

Aug, 2019