防御多模融合模型免受单一来源的攻击
探究了目前多模态融合模型是否利用补充信息来防御对抗攻击，通过在 MFNet 上应用 FGSM 和 PGD 等对抗攻击进行实验验证，发现多模态融合模型在对抗攻击方面仍然存在脆弱性。
May, 2020
该研究论文提出针对自动驾驶车辆中常用的多传感器融合技术进行攻击的框架，其中对摄像头模态进行针对性攻击，研究表明此攻击方式可以破坏多种融合模型，从而削弱其目标检测性能。
Apr, 2023
本研究针对多模态（图像 + 文本）模型的弱点进行分析，并提出了基于部分模型知识和访问下的攻击方法。同时，我们发现对多模态分类进行的攻击比仅仅对单模态文本或图像分类的攻击更强，而我们尝试的对多模态分类器进行的单模态图像攻击比文本的字符增强攻击更为有效。
Nov, 2020
本文研究了自动驾驶多模态感知系统在受到对抗性攻击时的鲁棒性问题，揭示了通过添加物理对抗性物体来隐藏不同车辆的可能性，并提出使用特征去噪的对抗性训练方法可以显著提高系统鲁棒性。
Jan, 2021
本文研究学习融合算法，通过设计深度融合模型的损失函数及相应的训练算法以及简单的卷积融合层，提高了 3D 物体检测器在应对单一数据源噪声方面的鲁棒性。
Jun, 2019
通过修改预训练的多模态模型的损失函数，限制前 K 个 softmax 输出，本研究在评估和评分基础上展示了，经过微调后，预训练模型的对抗鲁棒性可以显著提高，抵御常见攻击。后续研究应该探索这种损失函数的输出多样性、泛化性以及鲁棒性与性能之间的权衡关系。本文代码会在接受后提供。
Feb, 2024
研究了多模态分类器对于跨模态稀释的抗干扰性，开发了一种在保持与图像和已有文本相关性和主题一致的前提下，能加剧多模态分类器失效的文本生成模型，并在危机人道主义和情感检测任务上进行了实验，结果表明该模型所生成的稀释文本能在更高程度上展示多模态分类器脆弱性，具有更高的相关性和主题一致性，有望进一步鼓励研究深度多模态模型对实际场景变化的抗干扰能力。
Nov, 2022
该论文旨在研究多模态攻击下机器的多感官感知能力，针对多模态对抗攻击对视听事件识别任务的影响，提出弱监督声音定位模型并基于音视频相似性约束和外部特征存储器实现了一种反对抗防御方法，实验结果表明该方法可有效提高视听网络的鲁棒性。
Apr, 2021
多模态模型容易受到单模态攻击和缺失条件的干扰，为了克服这些干扰，需要具备鲁棒的多模态表示。本文通过理论研究发现，较大的单模态表示边界和更可靠的模态融合是实现更高鲁棒性的重要组成部分。基于这一发现，引入了一种训练过程称为可证明鲁棒的多模态训练 (Certifiable Robust Multi-modal Training，CRMT)，该方法可以明显提高鲁棒性的可信度和灵活性。
Feb, 2024