本研究旨在分析多模态神经网络在单模态最坏情况下 (即对抗性攻击) 的鲁棒性，并提出了一种对抗性融合策略，该策略与现有方法相比，可显著提高单源鲁棒性，并在不影响干净数据性能的情况下，在多种多模态任务上实现了良好的表现。

Jun, 2022

哺乳动物的大脑通过整合特定感官模式的脑区的信息来处理复杂推理，从而提高鲁棒性和泛化能力。我们开发了一个融合模型，结合了在 Imagenet 和 Places365 上训练的 CNN 的背景和前景特征，测试了它对人可感知变化的抵抗能力，并在 MS COCO 上进行了验证。融合模型提高了鲁棒性，特别适用于具有更大上下文变异性的类别。我们提出的多模态整合解决方案为增强鲁棒性提供了一种新方法，并可能与现有方法相辅相成。

Jun, 2024

该研究论文提出针对自动驾驶车辆中常用的多传感器融合技术进行攻击的框架，其中对摄像头模态进行针对性攻击，研究表明此攻击方式可以破坏多种融合模型，从而削弱其目标检测性能。

Apr, 2023

本文介绍了一种名为 SenFuNet 的深度融合方法，该方法通过在线学习传感器特定的噪声和异常值统计，并以在线方式将不同传感器的深度帧数据流合并。实验结果表明，相比传统方法和最近的在线深度融合方法，SenFuNet 的融合策略表现更好。多传感器的组合能够更好地处理异常值，并比单一传感器具有更精确的表面重建能力。

Apr, 2022

本文研究了自动驾驶多模态感知系统在受到对抗性攻击时的鲁棒性问题，揭示了通过添加物理对抗性物体来隐藏不同车辆的可能性，并提出使用特征去噪的对抗性训练方法可以显著提高系统鲁棒性。

Jan, 2021

噪声标签学习的研究中，噪声建模和噪声检测是两种常见方法，但这两种方法通常独立研究，缺乏对它们的协作研究。本文探讨了这两种方法的整合，提出了一个互联结构，包括噪声建模、源知识识别和使用噪声源知识整合方法的增强噪声检测的关键模块。在包括三种类型的噪声和各个模块的不同组合的四个数据集上的实验证明了这些模块的协作有效性。我们的协作结构方法在合成噪声数据集中提高了高达 10% 的 top-1 分类准确率，在真实世界的噪声数据集中提高了 3-5% 的准确率。结果还表明，这些模块在不同噪声场景中对整体性能有不同的贡献。这些发现为将来设计针对特定噪声场景定制的噪声标签学习方法提供了有价值的见解。我们的代码对公众开放可访问。

Nov, 2023

本研究提出了一种基于深度学习的通用不确定性感知多模态融合模型，该模型采用多管道宽松耦合架构将点云和图像特征进行组合，并将不确定性嵌入在边界框生成中，以生成可靠的输出，在 KITTI 2D 物体检测数据集和其衍生的 “脏数据” 中得到了验证。

Apr, 2023

RoboFusion 是一个利用视觉基础模型的健壮框架，通过减少噪声来提高多模式三维物体检测的鲁棒性和可靠性，并在嘈杂的场景中获得了最先进的性能。

Jan, 2024

本文提出了一种在存在不完善模态的情况下设计稳健的深度多模态学习体系结构的方法 - 通过使用深度融合架构进行目标检测，并使用带有门控信息融合网络调节贡献权重进行构建，以实现具有抗干扰性的性能表现提高，对于 KITTI 数据集的单发探测器（SSD），本文通过数据增强方案和提出的融合网络取得了显著的性能提升。

Jul, 2018

本篇论文提出了一种深度学习方法，可以在图像分类类型的网络中保护并提高其鲁棒性，同时实现了准确性和鲁棒性的平衡，通过实验验证了该方法的有效性和鲁棒性保障。

Jul, 2020