May, 2021

社交媒体新闻帖子中的多模态语义不一致检测

PDF
TL;DR本研究提出了一种用于识别社交媒体新闻帖子中视频外观和文本标题之间语义不一致的分类架构，通过使用基于文本分析、自动音频转录、语义视频分析、对象检测、命名实体一致性和面部验证的多模态融合框架来发现社交媒体帖子中的视频和标题之间的不匹配。通过训练和测试基于 4,000 个 Facebook 新闻帖子的新视频数据集，我们的多模态方法在随机标题和外观不匹配的情况下实现了 60.5％的分类准确性，而单模分别准确率不到 50％。进一步的消融研究证实了跨模态融合对于正确识别语义不一致性的必要性。
multimedia forensicssemantic inconsistenciesclassification architecturemulti-modal fusion frameworkensemble method
发现论文，激发创造
  • 社交媒体视频帖子中的虚假信息检测

    本研究提出了两种新方法：对比学习和掩码语言建模，以检测短视频社交媒体帖子中的语义不一致性，证明这些方法优于当前的最先进方法，可用于检测社交媒体帖子中的错误信息。

    Feb, 2022

  • 多模态虚假信息检测：方法、挑战及机遇

    本文分析社交媒体中多模态环境下的虚假信息与图片 / 视频利用的挑战和机会，探讨现存技术及其不足，旨在进一步提升多模态虚假信息检测的技术。

    Mar, 2022

  • 利用图像和文本的联合嵌入进行多媒体语义完整性评估

    本文提出了一种基于深度学习的、用于评估包含图像和标题的多媒体包的语义完整性的方法，这样可以检测包的操纵，他们利用一个引用数据集创建图像和标题的联合嵌入，并提供了图像 - 标题一致性得分。作者们还提出了 MultimodAl 数据操纵数据集 (MAIM)，用来验证这种方法的性能。在检测语义不一致的媒体包方面，本方法的 F1 得分分别为 0.75、0.89 和 0.94。

    Jul, 2017

  • 利用实体增强框架融合多模态线索提高假新闻检测

    本文围绕多模态虚假新闻检测问题，提出了一种新的提取多模态线索的框架，该框架能够充分地考虑图像文本的三种关系，并在实验证明其优于现有文献的方法。

    Aug, 2021

  • 检测跨模态不一致性以防御神经假新闻

    本文介绍了一种有效的防御机制，其可以用于防御包括图像和标题在内的机器生成的虚假新闻，并通过创建一个包含 4 种不同类型的生成文章的 NeuralNews 数据集以及进行一系列基于此数据集的人类用户研究实验来确定敌方可能会利用的潜在弱点。此外，本文提供了一种相对有效的方法，基于检测视觉语义不一致性的方法，这将成为有效的第一防线和未来防御机器生成的虚假信息的有用参考资料。

    Sep, 2020

  • 知识引导下的双重一致性模型用于多模态谣言检测

    提出一种基于知识引导的双一致性网络，用于检测具有多媒体内容的谣言，该网络具有两个一致性检测子网络，可同时捕获跨模态和内容 - 知识水平的不一致性，并在不同丢失视觉模态条件下实现鲁棒的多模态表示学习。该框架在三个公共实际多媒体数据集上的广泛实验表明，可以在完整和不完整的多模态条件下优于最先进的基线。

    Jun, 2023

  • 基于多粒度信息融合的社交媒体多模态假新闻检测

    文章介绍了一种用于检测假新闻的多粒度多模态融合网络模型，并将模型性能与现有方法进行了比较。

    Apr, 2023

  • 使用跨模态实体一致性度量的现实世界新闻的多模态分析

    该研究论文介绍了一种用于跨媒体实体一致性验证的新方法，并应用于真实世界新闻中，旨在支持人类评估多媒体信息的整体消息，特别是在偏见或情感方面。该方法通过使用最先进的方法和几种不同措施计算跨媒体相似性，其中包括使用命名实体链接从新闻文本中提取人物，位置和事件。该论文的数据集和代码均公开，并展示了该方法在不同语言，主题和领域的两个新数据集上的可行性。

    Mar, 2020

  • 使用可解释的神经符号模型检测上下文不一致的多模态错误信息

    本文提出了一种可解释的跨模态去上下文检测方法来辨别不匹配的内容和交叉模态的矛盾，可以帮助事实查核网站记录阐明批驳，实验表明该方法在保持准确率的同时能提供更多可解释的预测。

    Apr, 2023

  • NewsCLIPpings: 自动生成多模态媒体的脱离上下文内容

    提出了一个自动检测图像和文本不一致性的数据集，并在其基础上测试了几种多模态模型的性能，这对于解决在线虚假信息问题和对抗深度伪造等具有重要意义。

    Apr, 2021