本篇研究旨在解决社交媒体上未经修饰的图像被嵌入错误语境中以误导群众的问题，通过借助图像与文本之间的信息协同作用，提出了一种利用自学习特性，通过选择性地将照片中的物体与文本描述对齐以实现快速准确判断图像和文本的整体匹配度来检测文本和图像配对情况的新方法。对于测试数据，本方法的误识别率为15%。同时本文还提供了一个包括来自各类新闻网站、博客和社交媒体贴文的20万张图像和45万个文本描述的大型数据集。

Jan, 2021

提出了一个自动检测图像和文本不一致性的数据集，并在其基础上测试了几种多模态模型的性能，这对于解决在线虚假信息问题和对抗深度伪造等具有重要意义。

Apr, 2021

我们提出了一种端到端的多模态事实核查和解释生成方法，利用包括文章、图片、视频以及推特在内的大量网络资源来评估索赔的真实性，并生成一个有理化陈述来解释推理和裁定过程。我们构建了Mocheg，这是一个大规模数据集，包括21,184个索赔和58,523条文本和图像形式的证据。我们在多模态证据检索、索赔验证和解释生成三个子任务上进行了几种最先进的神经网络结构的实验，以建立基准性能，并展示端到端多模态事实核查的最新性能仍然远远不够令人满意。据我们所知，我们是第一个建立端到端多模态事实核查和证明基准数据集和解决方案的研究团队。

May, 2022

本文提出了一种可解释的跨模态去上下文检测方法来辨别不匹配的内容和交叉模态的矛盾，可以帮助事实查核网站记录阐明批驳，实验表明该方法在保持准确率的同时能提供更多可解释的预测。

Apr, 2023

本研究关注于通过图像——标题对传播虚假信息的交叉多模态误传（CMM），并提出一种名为FIGMENTS的评估基准集合，以消除一模式偏见，并开发了一种名为CHASMA的方法来生成可靠的合成数据，最终得到了在二元和多类设置中提高了性能的结果。

Apr, 2023

本文调查了自动化事实核查并提出了一个多模式事实核查的框架，其中包含针对多模态误传播的子任务。研究重点在于文字、图像、音频和视频四种在实际事实核查中普遍存在的模态。调查了基准和模型，并讨论了未来研究的局限性和有前途的方向。

May, 2023

利用生成图像模型检测新闻中图像与标题对的脱离语境使用，为廉价伪造检测领域的进一步研究提供新方法和数据集，通过定性和定量分析评估图像生成模型及图像相似度计算方法的性能。

Aug, 2023

在线虚假信息多模态性质常常由文字和搭配的图像之间的误导性关联引起。为了支持事实核查过程，研究人员最近一直在开发能够收集和分析外部信息的自动多模态方法，即与正在研究的图像-文字对相关的证据。然而，之前的研究假设收集的所有证据都是相关的。本研究引入了一个“相关证据检测”（RED）模块，用于判断每个证据是否相关，以支持或反驳主张。具体地，我们开发了“相关证据检测有向变换器”（RED-DOT），并探索了多种架构变体（如单阶段或双阶段）和机制（如“引导注意力”）。广泛的消融和比较实验证明，RED-DOT在VERITE基准测试中相对于最先进的方法改进了高达28.5%。此外，我们的证据重新排序和基于元素的模态融合使RED-DOT在NewsCLIPings+上达到了有竞争力甚至更好的性能，而无需大量证据或多个主干编码器。最后，我们的定性分析证明了提出的“引导注意力”模块有提高架构可解释性的潜力。我们在此https URL上发布了我们的代码。

Nov, 2023

SNIFFER是一种特别针对超文本误导检测和解释的新型多模态大型语言模型，通过在InstructBLIP上进行两阶段的指令调整，不仅能够检测文字和图像之间的不一致性，还可以利用外部知识进行上下文验证，实验证明SNIFFER的检测准确性超过了原始的MLLM超过40%，并且在解释能力方面也优于最先进的方法。

Mar, 2024

该研究解决了现有视觉错误信息检测方法忽视的重要问题——图像的原始元上下文。通过引入自动图像上下文化任务，研究者创建了5Pils数据集，包含1,676个经过事实核查的图像及其元上下文问答对，使用图像内容和文本证据进行验证，初步实验结果表明该方法具有良好前景，同时指出了检索和推理中的多个挑战。

Aug, 2024