CoVLM：利用视觉-语言模型的共识进行半监督多模态假新闻检测

Oct, 2024

CoVLM：利用视觉-语言模型的共识进行半监督多模态假新闻检测

CoVLM: Leveraging Consensus from Vision-Language Models for Semi-supervised Multi-modal Fake News Detection

Devank, Jayateja Kalla, Soma Biswas

TL;DR本研究针对现实世界中难以处理的上下文错误信息检测问题，即真实图像与不正确标题的搭配所生成的假新闻。我们提出了一种半监督协议，使用有限的标记图像-文本对和大量未标记对来生成强大的伪标签，研究表明该方法在不平衡数据集上具有显著效果，展示了我们框架的有效性。

Abstract

In this work, we address the real-world, challenging task of out-of-context misinformation detection, where a real image is paired with an incorrect caption for creating fake news. Existing approaches for this task assume the availability of large amounts of labeled data, which is often impractical in real-world, since it requires extensive manual interventi

发现论文，激发创造

SEMI-FND:基于堆叠集成的多模态推理，用于更快的假新闻检测

本论文探讨了一种基于多模态堆叠集成方法(SEMIFND)的假新闻检测方法，通过分析图像模态确定NasNet Mobile模型在该任务中的适用性，使用BERT和ELECTRA的集成方法对文本进行分析，并在Twitter和Weibo两个数据集上实现了85.80%和86.83%的准确率，其参数数量比类似的方法减少了至少20%。

May, 2022

相似度感知的多模态提示学习用于假新闻检测

本篇研究提出了一个基于相似性感知的多模态提示学习框架 (SAMPLE) 用于检测假新闻，通过三种提示模板和一种软性描述器分析，并采用自适应融合方法来减少因不相关的交叉模态特征注入噪音，实验表明相较于先前方法，SAMPLE 在两个基准多模态数据集中的 F1 值和准确性均有所提高。另外，SAMPLE 不论在少量数据或是数据丰富的情况下都优于其他方法。

Apr, 2023

使用可解释的神经符号模型检测上下文不一致的多模态错误信息

本文提出了一种可解释的跨模态去上下文检测方法来辨别不匹配的内容和交叉模态的矛盾，可以帮助事实查核网站记录阐明批驳，实验表明该方法在保持准确率的同时能提供更多可解释的预测。

Apr, 2023

细粒度跨模态虚构和不协调情况的误信息检测框架

本研究关注于通过图像——标题对传播虚假信息的交叉多模态误传（CMM），并提出一种名为FIGMENTS的评估基准集合，以消除一模式偏见，并开发了一种名为CHASMA的方法来生成可靠的合成数据，最终得到了在二元和多类设置中提高了性能的结果。

Apr, 2023

基于多模态弱信号的无监督领域无关假新闻检测

本研究提出了一个有效的无监督框架，用于利用社交媒体中四种信息类型的知识，从而检测COVID-19相关新闻中的虚假信息。该框架使用一个强大的噪声鲁棒的自监督学习技术和一种新颖的数据集构建技术来提高检测性能，并在现有的标记数据集上取得了显著改进。

May, 2023

不良演员，良好顾问：大型语言模型在假新闻检测中的作用探究

基于大型语言模型的虚假新闻检测研究发现，大型语言模型虽然能提供多元的合理解释，却无法像基于小语言模型的训练过程那样适当选择和结合解释来得出结论。因此，当前的大型语言模型不能替代小型语言模型在虚假新闻检测中的作用，但可以作为小型语言模型的顾问，提供多元的启示性解释。为了实现这一点，作者设计了自适应启示指导网络（ARG）用于虚假新闻检测，在这个网络中，小型语言模型从大型语言模型的解释中选择性地获取新闻分析的见解。另外，作者还提出了一个消除解释的版本ARG-D，用于成本敏感的情境，无需查询大型语言模型。实验证明，ARG和ARG-D在两个真实数据集上的表现优于基于小型语言模型、大型语言模型以及小型和大型语言模型组合的三种基准方法。

Sep, 2023

利用领域外数据对多模态假新闻检测中的领域特定提示进行优化

本研究旨在探索如何使用领域之外的数据，改进所需领域（如政治、医疗等）的虚假新闻检测，提出了一种名为DPOD（使用领域特定提示调整的领域特定训练）的新框架，利用图像与文本相应标题的特征对齐，并结合域特定提示学习技术，在大规模基准数据集NewsClippings上进行广泛实验，取得了显著超越现有方法的最新性能。

Nov, 2023

LEMMA:用外部知识增强的LVLM增强型多模态误信息检测

利用Large Vision Language Model（LVLM）及外部知识增强的LEMMA方法，大幅提升了多模态错误信息检测的准确性。

Feb, 2024

大型视觉语言模型也是良好的分类器：针对上下文多模态虚假新闻检测的研究

通过将ICL与LVLM结合，该研究提出了IMFND框架以提高大型视觉-语言模型在虚假新闻检测中的效率，并在三个公开数据集上展示了其在准确性方面的改进。

Jul, 2024

相似性优先于事实性：我们在多模态场外错误信息检测上有进展吗？

利用 MUltimodal SimilaritiEs (MUSE) 和 Attentive Intermediate Transformer Representations (AITR) 进行多模态事实核查，将外文新闻和图片进行对比，检测并分类表达了不同的观点。

Jul, 2024