本文提出了一种可解释的跨模态去上下文检测方法来辨别不匹配的内容和交叉模态的矛盾，可以帮助事实查核网站记录阐明批驳，实验表明该方法在保持准确率的同时能提供更多可解释的预测。

Apr, 2023

提出了一个自动检测图像和文本不一致性的数据集，并在其基础上测试了几种多模态模型的性能，这对于解决在线虚假信息问题和对抗深度伪造等具有重要意义。

Apr, 2021

本文分析社交媒体中多模态环境下的虚假信息与图片 / 视频利用的挑战和机会，探讨现存技术及其不足，旨在进一步提升多模态虚假信息检测的技术。

Mar, 2022

本文调查了自动化事实核查并提出了一个多模式事实核查的框架，其中包含针对多模态误传播的子任务。研究重点在于文字、图像、音频和视频四种在实际事实核查中普遍存在的模态。调查了基准和模型，并讨论了未来研究的局限性和有前途的方向。

May, 2023

利用合成数据生成的新方法进行了与虚假信息检测相关的语境外检测研究，通过创建特定于语境外检测的数据集和开发高效的分类器，实验证实了合成数据生成在解决语境外检测中的数据限制方面的有效性，为未来研究和开发健壮的虚假信息检测系统提供了有价值的资源。

Jan, 2024

本篇研究旨在解决社交媒体上未经修饰的图像被嵌入错误语境中以误导群众的问题，通过借助图像与文本之间的信息协同作用，提出了一种利用自学习特性，通过选择性地将照片中的物体与文本描述对齐以实现快速准确判断图像和文本的整体匹配度来检测文本和图像配对情况的新方法。对于测试数据，本方法的误识别率为 15%。同时本文还提供了一个包括来自各类新闻网站、博客和社交媒体贴文的 20 万张图像和 45 万个文本描述的大型数据集。

Jan, 2021

通过使用逻辑正则化方法对文本的短语级别进行预测，我们提出了一种用于检测上下文错误的逻辑正则化方法（LOGRAN），该方法在解释性和结果准确性方面表现出竞争力，提高了对虚假信息的检测和理解能力。

Jun, 2024

该研究论文介绍了一种用于跨媒体实体一致性验证的新方法，并应用于真实世界新闻中，旨在支持人类评估多媒体信息的整体消息，特别是在偏见或情感方面。该方法通过使用最先进的方法和几种不同措施计算跨媒体相似性，其中包括使用命名实体链接从新闻文本中提取人物，位置和事件。该论文的数据集和代码均公开，并展示了该方法在不同语言，主题和领域的两个新数据集上的可行性。

Mar, 2020

我们提出了一种端到端的多模态事实核查和解释生成方法，利用包括文章、图片、视频以及推特在内的大量网络资源来评估索赔的真实性，并生成一个有理化陈述来解释推理和裁定过程。我们构建了 Mocheg，这是一个大规模数据集，包括 21,184 个索赔和 58,523 条文本和图像形式的证据。我们在多模态证据检索、索赔验证和解释生成三个子任务上进行了几种最先进的神经网络结构的实验，以建立基准性能，并展示端到端多模态事实核查的最新性能仍然远远不够令人满意。据我们所知，我们是第一个建立端到端多模态事实核查和证明基准数据集和解决方案的研究团队。

May, 2022

本研究旨在探究对抗学习在虚假信息识别中的应用。通过开发自学模型并在 COSMOS 数据集上进行全面实验，我们发现采用对抗学习能够大幅减少训练数据，同时在数据量不足时显示出优于传统分类器的非匹配图像 - 文本对检测性能提高约 10% 的稳定性和可比性。

Apr, 2023