本文研究了新闻缩略图的代表性问题，重点关注新闻图像是否能够准确地代表新闻文本的主题。我们提出了一个手动标注的新闻缩略图和文本对的数据集 NewsTT，并发现预训练的视觉和语言模型在这个任务中遇到困难。为了弥补这一差距，我们提出了 CFT-CLIP，一个反事实文本引导的对比语言 - 图像预训练框架。通过对比新闻文本与其替代实体的反事实文本，我们提出该框架可以增强跨模态匹配能力。使用 NewsTT 数据集的评估实验证明 CFT-CLIP 比预训练模型（如 CLIP 和 BLIP-2）性能更好。本文的代码和数据将在接受后向公众开放。

Feb, 2024

提出了一个自动检测图像和文本不一致性的数据集，并在其基础上测试了几种多模态模型的性能，这对于解决在线虚假信息问题和对抗深度伪造等具有重要意义。

Apr, 2021

本文通过分析图像、文本和多模型检测虚假新闻，特别是使用变形金刚模型的文本和多模型对索赔和阴谋检测任务的作用，确定图像在虚假新闻检测中的作用。

Mar, 2021

社交媒体上的假新闻问题引起了研究者们的极大关注，随着多媒体技术的发展，其中在视觉内容的提取和分析方面，存在一定的局限性；本篇论文综合阐述了多媒体新闻检测中视觉内容的基本概念、有效的视觉特征、典型的检测方法以及挑战问题，并提出利用视觉内容检测假新闻的有效方法。

Mar, 2020

本文介绍了一种有效的防御机制，其可以用于防御包括图像和标题在内的机器生成的虚假新闻，并通过创建一个包含 4 种不同类型的生成文章的 NeuralNews 数据集以及进行一系列基于此数据集的人类用户研究实验来确定敌方可能会利用的潜在弱点。此外，本文提供了一种相对有效的方法，基于检测视觉语义不一致性的方法，这将成为有效的第一防线和未来防御机器生成的虚假信息的有用参考资料。

Sep, 2020

本文提出了一种名为 Multi-domain Visual Neural Network (MVNN) 的框架，该框架将频率和像素域的视觉信息融合起来用于检测假新闻图像。在真实数据集上的实验表明，MVNN 比现有方法至少提高了 9.2% 的准确度，并可帮助提高超过 5.2% 的多模态假新闻检测性能。

Aug, 2019

本文围绕多模态虚假新闻检测问题，提出了一种新的提取多模态线索的框架，该框架能够充分地考虑图像文本的三种关系，并在实验证明其优于现有文献的方法。

Aug, 2021

本研究旨在探究对抗学习在虚假信息识别中的应用。通过开发自学模型并在 COSMOS 数据集上进行全面实验，我们发现采用对抗学习能够大幅减少训练数据，同时在数据量不足时显示出优于传统分类器的非匹配图像 - 文本对检测性能提高约 10% 的稳定性和可比性。

Apr, 2023

社交媒体的迅速增长导致虚假新闻泛滥，因此自动检测和验证虚假信息的研究变得尤为重要。本研究介绍了 Factify 2 任务的结果，提供了一个多模态事实验证和讽刺新闻数据集，并使用基于多模态关系将社交媒体索求与支持文件进行比较，最终得到 81.82% 的最高 F1 分数。

Jul, 2023

通过收集和注释 Multimodal Video Misleading Headline（VMH）数据集，我们分析了侦测误导性标题的多模态基线，同时注重了注释者对视频误导性的看法和背景与视频内容之间的相互作用。

Oct, 2023