Mar, 2022

多模态虚假信息检测：方法、挑战及机遇

PDF
TL;DR本文分析社交媒体中多模态环境下的虚假信息与图片 / 视频利用的挑战和机会，探讨现存技术及其不足，旨在进一步提升多模态虚假信息检测的技术。
发现论文，激发创造
  • 多模态虚假信息检测调查

    本研究为现有多模式虚假信息检测技术提供了一份综述，重点关注了文本、图像、语音、视频、社交媒体网络结构和时间信息等多种组合形式，并探讨了未来研究的方向和挑战，同时提出需要在相同框架内考虑虚假信息的真实性和危害程度。

    Mar, 2021

  • 社交媒体视频帖子中的虚假信息检测

    本研究提出了两种新方法：对比学习和掩码语言建模，以检测短视频社交媒体帖子中的语义不一致性，证明这些方法优于当前的最先进方法，可用于检测社交媒体帖子中的错误信息。

    Feb, 2022

  • 使用可解释的神经符号模型检测上下文不一致的多模态错误信息

    本文提出了一种可解释的跨模态去上下文检测方法来辨别不匹配的内容和交叉模态的矛盾，可以帮助事实查核网站记录阐明批驳，实验表明该方法在保持准确率的同时能提供更多可解释的预测。

    Apr, 2023

  • 社交媒体新闻帖子中的多模态语义不一致检测

    本研究提出了一种用于识别社交媒体新闻帖子中视频外观和文本标题之间语义不一致的分类架构，通过使用基于文本分析、自动音频转录、语义视频分析、对象检测、命名实体一致性和面部验证的多模态融合框架来发现社交媒体帖子中的视频和标题之间的不匹配。通过训练和测试基于 4,000 个 Facebook 新闻帖子的新视频数据集，我们的多模态方法在随机标题和外观不匹配的情况下实现了 60.5％的分类准确性，而单模分别准确率不到 50％。进一步的消融研究证实了跨模态融合对于正确识别语义不一致性的必要性。

    May, 2021

  • 可解释的多模态逻辑推理误信息检测

    提出一种新颖的基于逻辑的神经模型，该模型将可解释的逻辑子句集成到目标任务的推理过程中，以检测多模态误解信息，通过在神经表示中参数化符号逻辑元素来实现学习的有效性，并引入五个元预测以使我们的框架具有多样性。

    May, 2023

  • 社交网络中检测谣言的可解释化模态框架

    本文介绍了一种基于多模态视角的自动虚假信息检测方法，提出了一种基于可解释性方法的虚假信息分类框架，从而增加决策的可解释性和完整性。

    Dec, 2022

  • 多模态分类分析社交媒体

    本研究使用池化层和辅助学习任务进行多模态社交媒体数据分类，具有良好的鲁棒性和高准确性，并与传统融合方法相比有着显著的优势。

    Aug, 2017

  • 多模态自动事实核查：一项调查

    本文调查了自动化事实核查并提出了一个多模式事实核查的框架，其中包含针对多模态误传播的子任务。研究重点在于文字、图像、音频和视频四种在实际事实核查中普遍存在的模态。调查了基准和模型，并讨论了未来研究的局限性和有前途的方向。

    May, 2023

  • 通过多模态特征对鲁棒领域虚假信息检测

    社交媒体误导信息对个人和社会有害，并且多模态内容（即文本和图像）使其更具 “可信度”，高于仅有文本的新闻报道。我们提出一种新颖的鲁棒领域与多模态方法（RDCM），用于多模态误导信息的检测，通过领域内对齐模块降低领域漂移，并通过跨模态对齐模块弥合两种模态之间的语义差距。在两个公开的多模态误导信息检测数据集（Pheme 和 Twitter 数据集）上的评估结果证明了该模型的优越性。

    Nov, 2023

  • 基于内容和多模态的开放领域图片事实核查在线资源

    该研究提出了一种基于多模态证据的检查方法，通过对图像和标题进行事实检查，有效应对了当前社交网络中易传播的虚假信息。同时，引入了一种名为 'Consistency-Checking Network' 的新型架构，模拟了人类跨模态推理的过程。

    Nov, 2021