May, 2023

高级驾驶辅助系统中抵御无声指令攻击的可信传感器融合方案

PDF
TL;DR本文提出了一种多模态融合 (Multimodal Fusion Framework) 安全系统，利用 VGG 系列神经网络融合异构音频 - 视觉模态，检测准确率可达 92.25%, 并测量了模型不确定性，结果表明我们的方法可帮助提高模型鲁棒性和准确性，并为理解提供了更深入的步骤，适用于高级驾驶辅助系统。
autonomous vehiclesinaudible voice command attacksmultimodal fusion frameworkdeep learning-based multimodal fusionmodel uncertainty
发现论文，激发创造
  • 验证多传感器融合系统对语义攻击的稳健性

    多传感器融合系统在现代自动驾驶车辆中的感知模块中起着重要作用。本文提出了第一个针对多传感器融合系统的健壮性认证框架 COMMIT，用于抵御语义攻击。通过实证评估，我们证明了 COMMIT 在不同交通场景中具有较高的认证性能，为实践中的可靠自动驾驶车辆贡献了重要一步。

    Mar, 2024

  • 融合不足：针对自动驾驶融合模型的单模攻击

    该研究论文提出针对自动驾驶车辆中常用的多传感器融合技术进行攻击的框架，其中对摄像头模态进行针对性攻击，研究表明此攻击方式可以破坏多种融合模型，从而削弱其目标检测性能。

    Apr, 2023

  • 针对无法听见的语音激活设备的对抗性代理

    通过对无声攻击进行的分析，我们确认安全风险因素为 7.6（满分为 10），突显了 NIST 国家漏洞数据库（NVD）独立评分的重大安全漏洞。我们的基线网络模型展示了一个攻击者使用无声语音命令来未经授权地访问安全笔记本中的机密信息的情景。我们在该基线网络模型上模拟了许多攻击场景，揭示了通过物理访问和不添加新硬件或放大设备技能即可发现和掌握特权信息的潜力。我们使用微软的 CyberBattleSim 框架评估了六种强化学习算法，并发现 Deep-Q 学习与利用相结合的方法最佳，可以在较少的步骤中迅速掌控所有节点。我们的发现强调了在不断扩大的数字化环境中，尤其是由移动设备、语音激活和容易受到恶意行为者进行隐蔽攻击的非常规网络和新的网络安全措施的紧迫性。到 2024 年，这个新的攻击面可能包括比地球上的人更多的数字助手，但是却比常规的修补程序或固件修复提供更少的解决方案，因为无声攻击源自于麦克风设计和数字信号处理。

    Jul, 2023

  • 音视频整合能否增强对多模态攻击的鲁棒性？

    该论文旨在研究多模态攻击下机器的多感官感知能力，针对多模态对抗攻击对视听事件识别任务的影响，提出弱监督声音定位模型并基于音视频相似性约束和外部特征存储器实现了一种反对抗防御方法，实验结果表明该方法可有效提高视听网络的鲁棒性。

    Apr, 2021

  • M2DA：多模态融合 Transformer 结合驾驶员注意力用于自动驾驶

    提出了一种多模态融合变压器，结合驾驶员注意力用于自动驾驶，通过 Lidar-Vision-Attention-based Fusion 模块更好地融合多模态数据，并实现不同模态之间更高的对齐，同时结合驾驶员的注意力，赋予自动驾驶车辆类似于人类的场景理解能力，准确识别复杂场景中的关键区域，确保安全。在 CARLA 模拟器上进行实验，以较少的数据在闭环基准测试中取得了最先进的性能。

    Mar, 2024

  • 自动驾驶中多传感器感知系统的对抗鲁棒性探索

    本文研究了自动驾驶多模态感知系统在受到对抗性攻击时的鲁棒性问题，揭示了通过添加物理对抗性物体来隐藏不同车辆的可能性，并提出使用特征去噪的对抗性训练方法可以显著提高系统鲁棒性。

    Jan, 2021

  • 利用可解释的传感器融合 Transformer 实现强化安全的自主驾驶

    本文提出了一种名为 Interpretable Sensor Fusion Transformer (InterFuser) 的安全增强自动驾驶框架，可完全处理和融合来自多模态多视角传感器的信息，实现全面的场景理解和对抗事件检测，在 CARLA 基准测试中表现优异，并提供了中间可解释特征用于更好地限制行动。

    Jul, 2022

  • 多模态驾驶员行为理解的决策级融合比较分析

    本文通过对视频驾驶员观察中的决策级别融合策略进行比较和评估，从视觉识别和多模态识别角度提出决策级别融合的方案，旨在指导融合策略的选择。

    Apr, 2022

  • 无法被相机和 LiDAR 探测：在物理攻击下的自动驾驶多传感器融合感知安全

    本文针对现代自动驾驶采用的多传感器融合设计方案的安全问题进行研究，旨在探究该方案在多源攻击下的安全性。作者提出一种优化攻击方法，生成一种 3D 打印的欺骗物，用于误导自动驾驶系统，测试结果表明该攻击方法能够在真实世界驾驶场景中达到超过 90％的成功率，并在硬件捕捉后仍是真实可行的。

    Jun, 2021

  • 自动驾驶感知的多模态传感器融合技术综述

    本文针对自动驾驶感知任务中存在的多模态融合问题进行文献综述，分析超过 50 篇包括 LiDAR 和相机在内的感知传感器解决目标检测和语义分割任务的方法，并提出一种更合理的分类方法。

    Feb, 2022