Mar, 2023

合成的不实信息生成者：多模态虚假信息的生成和打击

PDF
TL;DR本研究针对多模态虚假信息检测，提出了基于 CLIP 的命名实体交换的依据。我们提供了包括图像 - 标题不匹配 (OOC)、跨模态命名实体不一致 (NEI) 和混合方法在内的新的和现有的综合比较研究，以便评估检测模型的性能。我们的研究结果表明 CLIP-based Named Entity Swapping 可以提高模型的多模态准确性，而混合方法可以进一步提高检测准确性
multimodal misinformation detectiondeep neural networkssynthetic misinformersclip-based named entity swappingcross-modal named entity inconsistency
发现论文，激发创造
  • 使用可解释的神经符号模型检测上下文不一致的多模态错误信息

    本文提出了一种可解释的跨模态去上下文检测方法来辨别不匹配的内容和交叉模态的矛盾，可以帮助事实查核网站记录阐明批驳，实验表明该方法在保持准确率的同时能提供更多可解释的预测。

    Apr, 2023

  • 使用合成多模态虚假信息进行图像文本脱离上下文检测

    利用合成数据生成的新方法进行了与虚假信息检测相关的语境外检测研究，通过创建特定于语境外检测的数据集和开发高效的分类器，实验证实了合成数据生成在解决语境外检测中的数据限制方面的有效性，为未来研究和开发健壮的虚假信息检测系统提供了有价值的资源。

    Jan, 2024

  • NewsCLIPpings: 自动生成多模态媒体的脱离上下文内容

    提出了一个自动检测图像和文本不一致性的数据集，并在其基础上测试了几种多模态模型的性能，这对于解决在线虚假信息问题和对抗深度伪造等具有重要意义。

    Apr, 2021

  • SNIFFER: 可解释的跨语境误信息识别的多模态大型语言模型

    SNIFFER 是一种特别针对超文本误导检测和解释的新型多模态大型语言模型，通过在 InstructBLIP 上进行两阶段的指令调整，不仅能够检测文字和图像之间的不一致性，还可以利用外部知识进行上下文验证，实验证明 SNIFFER 的检测准确性超过了原始的 MLLM 超过 40%，并且在解释能力方面也优于最先进的方法。

    Mar, 2024

  • 可解释的多模态逻辑推理误信息检测

    提出一种新颖的基于逻辑的神经模型，该模型将可解释的逻辑子句集成到目标任务的推理过程中，以检测多模态误解信息，通过在神经表示中参数化符号逻辑元素来实现学习的有效性，并引入五个元预测以使我们的框架具有多样性。

    May, 2023

  • 多模态虚假信息检测：方法、挑战及机遇

    本文分析社交媒体中多模态环境下的虚假信息与图片 / 视频利用的挑战和机会，探讨现存技术及其不足，旨在进一步提升多模态虚假信息检测的技术。

    Mar, 2022

  • 基于多粒度信息融合的社交媒体多模态假新闻检测

    文章介绍了一种用于检测假新闻的多粒度多模态融合网络模型，并将模型性能与现有方法进行了比较。

    Apr, 2023

  • 利用实体增强框架融合多模态线索提高假新闻检测

    本文围绕多模态虚假新闻检测问题，提出了一种新的提取多模态线索的框架，该框架能够充分地考虑图像文本的三种关系，并在实验证明其优于现有文献的方法。

    Aug, 2021

  • 利用文本 - 图像对比模型的能力自动检测在线谣言

    本研究旨在探究对抗学习在虚假信息识别中的应用。通过开发自学模型并在 COSMOS 数据集上进行全面实验，我们发现采用对抗学习能够大幅减少训练数据，同时在数据量不足时显示出优于传统分类器的非匹配图像 - 文本对检测性能提高约 10% 的稳定性和可比性。

    Apr, 2023

  • 检测跨模态不一致性以防御神经假新闻

    本文介绍了一种有效的防御机制，其可以用于防御包括图像和标题在内的机器生成的虚假新闻，并通过创建一个包含 4 种不同类型的生成文章的 NeuralNews 数据集以及进行一系列基于此数据集的人类用户研究实验来确定敌方可能会利用的潜在弱点。此外，本文提供了一种相对有效的方法，基于检测视觉语义不一致性的方法，这将成为有效的第一防线和未来防御机器生成的虚假信息的有用参考资料。

    Sep, 2020