Jun, 2022

多模态一定更好吗？多模态假新闻检测的鲁棒性评估

PDF
TL;DR本文针对多媒体假新闻检测方法鲁棒性差的问题，提出了一种系统的鲁棒性评估方法，并通过 5 种对抗攻击和 2 种后门攻击实验验证，结果表明通过防御机制可以提高多模式检测器的鲁棒性。
fake news detectionmulti-modal detectionrobustness evaluationadversarial attacksdefensive methods
发现论文，激发创造
  • 基于多粒度信息融合的社交媒体多模态假新闻检测

    文章介绍了一种用于检测假新闻的多粒度多模态融合网络模型，并将模型性能与现有方法进行了比较。

    Apr, 2023

  • 利用实体增强框架融合多模态线索提高假新闻检测

    本文围绕多模态虚假新闻检测问题，提出了一种新的提取多模态线索的框架，该框架能够充分地考虑图像文本的三种关系，并在实验证明其优于现有文献的方法。

    Aug, 2021

  • 提高多模态假新闻检测的泛化能力

    本文提出了三种基于多模态 transformer 的假新闻检测模型，并通过深入分析操纵数据的方法来探索这些模型在社交媒体上实际使用情况下的性能。研究发现，这些系统在面临被操纵的数据时会出现显著性能下降。为了减少偏差并改善模型的推广能力，本文建议使用数据增强技术对社交媒体上的假新闻检测进行更有意义的实验。所提出的数据增强技术使得模型的泛化能力得到了提高，并获得了最先进的效果。

    May, 2023

  • 使用单模态与多模态检测器评估音视频多模态深度伪造数据集

    该篇研究通过使用最新的深度伪造音频和视频数据集（FakeAVCeleb）进行了详细的基准实验，得出结论：单模态深度伪造检测方法仅仅能够适应单个媒体类型，仅使用视频或音频来检测不够理想，最佳的检测方法是集成式检测方法。

    Sep, 2021

  • 多模态虚假信息检测：方法、挑战及机遇

    本文分析社交媒体中多模态环境下的虚假信息与图片 / 视频利用的挑战和机会，探讨现存技术及其不足，旨在进一步提升多模态虚假信息检测的技术。

    Mar, 2022

  • HateProof：恶意 Meme 检测系统真的稳健吗？

    社交媒体上传播仇恨的行为越来越多，其中包括使用多模态方式的恶意内容，容易被现有的检测系统所规避。本文通过对现有系统进行外部对抗攻击，检验了其脆弱性，并提出了使用对比学习和基于对抗训练的方法来提高鲁棒性。实验结果表明，使用这两种方法可以在某些攻击下重获性能。

    Feb, 2023

  • 在真实灰盒子假设下的多模型对抗评估

    本研究针对多模态（图像 + 文本）模型的弱点进行分析，并提出了基于部分模型知识和访问下的攻击方法。同时，我们发现对多模态分类进行的攻击比仅仅对单模态文本或图像分类的攻击更强，而我们尝试的对多模态分类器进行的单模态图像攻击比文本的字符增强攻击更为有效。

    Nov, 2020

  • MalFake: 基于循环神经网络和 VGG-16 的马拉雅拉姆语多模态假新闻鉴别

    通过多模态深度学习，在马拉雅拉姆语中进行的研究是更加有效地检测和缓解虚假信息的重要一步。

    Oct, 2023

  • 多模态虚假信息检测调查

    本研究为现有多模式虚假信息检测技术提供了一份综述，重点关注了文本、图像、语音、视频、社交媒体网络结构和时间信息等多种组合形式，并探讨了未来研究的方向和挑战，同时提出需要在相同框架内考虑虚假信息的真实性和危害程度。

    Mar, 2021

  • 相似度感知的多模态提示学习用于假新闻检测

    本篇研究提出了一个基于相似性感知的多模态提示学习框架 (SAMPLE) 用于检测假新闻，通过三种提示模板和一种软性描述器分析，并采用自适应融合方法来减少因不相关的交叉模态特征注入噪音，实验表明相较于先前方法，SAMPLE 在两个基准多模态数据集中的 F1 值和准确性均有所提高。另外，SAMPLE 不论在少量数据或是数据丰富的情况下都优于其他方法。

    Apr, 2023