May, 2020

深度学习多模态数据融合中对抗样本的脆弱性研究

PDF
TL;DR探究了目前多模态融合模型是否利用补充信息来防御对抗攻击，通过在 MFNet 上应用 FGSM 和 PGD 等对抗攻击进行实验验证，发现多模态融合模型在对抗攻击方面仍然存在脆弱性。
multimodal data fusiondeep learningadversarial attacksrobustnesssemantic segmentation
发现论文，激发创造
  • 防御多模融合模型免受单一来源的攻击

    本研究旨在分析多模态神经网络在单模态最坏情况下 (即对抗性攻击) 的鲁棒性，并提出了一种对抗性融合策略，该策略与现有方法相比，可显著提高单源鲁棒性，并在不影响干净数据性能的情况下，在多种多模态任务上实现了良好的表现。

    Jun, 2022

  • 融合不足：针对自动驾驶融合模型的单模攻击

    该研究论文提出针对自动驾驶车辆中常用的多传感器融合技术进行攻击的框架，其中对摄像头模态进行针对性攻击，研究表明此攻击方式可以破坏多种融合模型，从而削弱其目标检测性能。

    Apr, 2023

  • 基于深度学习的多模态医学图像分类信息融合技术综述

    多模医学成像在临床诊断和研究中起着关键作用，深度学习多模态融合技术在提高医学图像分类方面显示出强大的工具。本综述对基于深度学习的医学分类任务中的多模态融合的发展进行了彻底分析，包括不同融合方案和网络架构的性能评估，讨论了相关挑战和未来研究方向。

    Apr, 2024

  • 多模态数据自适应融合技术

    本研究提出了两种自适应融合网络（Auto-Fusion、GAN-Fusion），通过对不同模态的特征进行有效的上下文建模，在多模态机器翻译和情感识别等任务中取得了比现有方法更好的效果。

    Nov, 2019

  • 深度多模态数据分析的调查：协作，竞争和融合

    本文综述多模型数据分析的现有状况和未来方向，着重介绍了基于深度神经网络的多特征融合方法，这些方法的关键组成部分是协作，对抗训练和特征融合。

    Jun, 2020

  • 在真实灰盒子假设下的多模型对抗评估

    本研究针对多模态（图像 + 文本）模型的弱点进行分析，并提出了基于部分模型知识和访问下的攻击方法。同时，我们发现对多模态分类进行的攻击比仅仅对单模态文本或图像分类的攻击更强，而我们尝试的对多模态分类器进行的单模态图像攻击比文本的字符增强攻击更为有效。

    Nov, 2020

  • 动态多模态融合

    本文提出了一种动态多模态融合的方法，可以在预测过程中根据数据的不同需求自适应地融合多模态数据，从而有效地减少计算成本，并在多个多模态任务上获得了良好的效果，这为动态多模态网络设计开辟了一条新的方向。

    Mar, 2022

  • 基于门控信息融合网络的鲁棒性深度多模态学习

    本文提出了一种在存在不完善模态的情况下设计稳健的深度多模态学习体系结构的方法 - 通过使用深度融合架构进行目标检测，并使用带有门控信息融合网络调节贡献权重进行构建，以实现具有抗干扰性的性能表现提高，对于 KITTI 数据集的单发探测器（SSD），本文通过数据增强方案和提出的融合网络取得了显著的性能提升。

    Jul, 2018

  • 低质量数据的多模态融合：全面调查

    基于低质量数据的多模态融合面临四个主要挑战：噪声多模态数据，不完整多模态数据，不平衡多模态数据和质量变化多模态数据。本文通过全面的分类对多模态融合的常见挑战和最新进展进行调研，为研究人员提供了了解该领域现状和发现潜在研究方向的方法。此外，本文还讨论了该领域的开放问题以及有趣的未来研究方向。

    Apr, 2024

  • 自动驾驶中多传感器感知系统的对抗鲁棒性探索

    本文研究了自动驾驶多模态感知系统在受到对抗性攻击时的鲁棒性问题，揭示了通过添加物理对抗性物体来隐藏不同车辆的可能性，并提出使用特征去噪的对抗性训练方法可以显著提高系统鲁棒性。

    Jan, 2021