Jun, 2023

知识引导下的双重一致性模型用于多模态谣言检测

PDF
TL;DR提出一种基于知识引导的双一致性网络，用于检测具有多媒体内容的谣言，该网络具有两个一致性检测子网络，可同时捕获跨模态和内容 - 知识水平的不一致性，并在不同丢失视觉模态条件下实现鲁棒的多模态表示学习。该框架在三个公共实际多媒体数据集上的广泛实验表明，可以在完整和不完整的多模态条件下优于最先进的基线。
rumor detectionmulti-modal datainconsistent semanticscontent-knowledge levelmulti-modal representation learning
发现论文，激发创造
  • 基于多模态融合框架和集成学习的谣言分类

    本研究提出了一个基于图像特征和集成学习算法的 MONITOR 框架，用于在社交网络中评估信息真实性，并在两个真实数据集上进行广泛实验，结果显示 MONITOR 优于现有的机器学习基线，并且集成模型显着提高了 MONITOR 的性能。

    Jan, 2023

  • 社交媒体新闻帖子中的多模态语义不一致检测

    本研究提出了一种用于识别社交媒体新闻帖子中视频外观和文本标题之间语义不一致的分类架构，通过使用基于文本分析、自动音频转录、语义视频分析、对象检测、命名实体一致性和面部验证的多模态融合框架来发现社交媒体帖子中的视频和标题之间的不匹配。通过训练和测试基于 4,000 个 Facebook 新闻帖子的新视频数据集，我们的多模态方法在随机标题和外观不匹配的情况下实现了 60.5％的分类准确性，而单模分别准确率不到 50％。进一步的消融研究证实了跨模态融合对于正确识别语义不一致性的必要性。

    May, 2021

  • 多模态谣言检测的知识增强层次信息相关学习

    本文提出了一种基于知识增强的分层信息相关学习方法（KhiCL），通过同时建模基本语义相关性和高阶知识增强实体相关性来进行多模态谣言检测。

    Jun, 2023

  • 基于对比学习的多模式短视频谣言检测系统

    该研究探讨了利用多模式特征融合和引入外部知识来检测短视频假消息的方法，包括数据集构建，多模式谣言检测模型和对比学习技术，并在实际应用场景中发挥作用。

    Apr, 2023

  • 基于传播结构的统一对比迁移框架用于增强低资源谣言检测

    本文提出了一种基于统一对比转移框架的谣言检测方法，通过语言对齐和领域自适应对比学习机制，训练多尺度图卷积网络，实现在不同语言资源匮乏的情况下检测谣言，实验证明这种方法比其他方法更具优越性。

    Apr, 2023

  • 探索面向图的多视图融合在社交媒体谣言检测中的应用

    本研究提出了一种基于图卷积网络的多视图融合框架，用于较好地表示和识别谣言信息，并且在两个公共数据集上实验，结果表明该方法优于现有的技术。

    Nov, 2022

  • VGA：用于谣言检测的视觉与图像融合注意力网络

    社交媒体中谣言的传播对社会造成了巨大的伤害，本研究提出一种新的视觉与图神经网络（VGA），通过利用帖子间的传播结构来获取群众观点、发现视觉篡改特征以及隐藏在图像中的文本信息，从而有效地检测多模态谣言。

    Jan, 2024

  • 多模态虚假信息检测：方法、挑战及机遇

    本文分析社交媒体中多模态环境下的虚假信息与图片 / 视频利用的挑战和机会，探讨现存技术及其不足，旨在进一步提升多模态虚假信息检测的技术。

    Mar, 2022

  • 通过多模态特征对鲁棒领域虚假信息检测

    社交媒体误导信息对个人和社会有害，并且多模态内容（即文本和图像）使其更具 “可信度”，高于仅有文本的新闻报道。我们提出一种新颖的鲁棒领域与多模态方法（RDCM），用于多模态误导信息的检测，通过领域内对齐模块降低领域漂移，并通过跨模态对齐模块弥合两种模态之间的语义差距。在两个公开的多模态误导信息检测数据集（Pheme 和 Twitter 数据集）上的评估结果证明了该模型的优越性。

    Nov, 2023

  • 使用可解释的神经符号模型检测上下文不一致的多模态错误信息

    本文提出了一种可解释的跨模态去上下文检测方法来辨别不匹配的内容和交叉模态的矛盾，可以帮助事实查核网站记录阐明批驳，实验表明该方法在保持准确率的同时能提供更多可解释的预测。

    Apr, 2023