Sep, 2023

Adv3D：使用 NeRF 在驾驶场景中生成 3D 对抗样本

PDF
TL;DR经过对 3D 物体检测的 DNN 系统进行研究，我们提出了 Adv3D，这是首次将对抗样本建模为神经辐射场（NeRF）的探索。我们训练了具有真实外观和 3D 准确生成能力的对抗性 NeRF，通过最小化训练集中 3D 检测器预测的周围物体置信度来训练。我们还提出了基于原始感知采样和语义引导正则化的方法，以生成适应于 3D 环境中的伪装对抗纹理的 3D 补丁攻击。实验结果表明，所训练的对抗性 NeRF 对不同姿势、场景和 3D 检测器具有很好的泛化性能。最后，我们提供了一种通过数据增强进行对抗性训练的防御方法。
发现论文，激发创造
  • 面向可推广神经辐射场的有针对性对抗攻击

    Neural Radiance Fields（NeRFs）能够用稀疏的 2D 观测数据学习合成高质量图像，实现逼真的互动场景重建。然而，本文展示了使用低强度的对抗攻击和对抗补丁对具有通用性的 NeRFs 进行攻击，并演示了生成特定预定义输出场景的有针对性攻击。

    Oct, 2023

  • 使用 3D 生成对抗网络学习有效的 NeRFs 和 SDFs 表示，用于 3D 物体生成：ICCV 2023 OmniObject3D 挑战的技术报告

    使用 3D 生成对抗网络（GANs）来学习有效的 NeRFs 和 SDFs 表示，以生成复杂、纹理和高保真度的 3D 物体。该方法结合标签嵌入和颜色映射，并借助快速几何感知的 3D GANs 作为骨干模型，能够同时在不同分类任务上训练模型，优化生成高保真度合成图像所需的神经辐射场（NeRFs）的表示，并通过优化有符号距离函数（SDFs）来有效表示 3D 物体网格。此解决方案在 ICCV 2023 OmniObject3D Challenge 中获得前 3 名。

    Sep, 2023

  • GANeRF: 利用判别器优化神经辐射场

    采用生成对抗网络对神经辐射场（NeRF）进行优化，修复 3D 场景重建中存在的照明、采样等问题，从而实现更高质量的渲染。

    Jun, 2023

  • NeuRAD：用于自动驾驶的神经渲染

    NeuRAD 是专为动态自动驾驶数据量身定制的强大的新视图合成方法，具有简单的网络设计、广泛的传感器建模和适应多个数据集的能力，并在多个领域取得了最先进的性能。

    Nov, 2023

  • 工业与机器人领域中的神经辐射场：应用、研究机会和使用案例

    该研究论文通过详细研究神经辐射场（NeRF）在工业应用领域的潜力，并提供未来研究方向，证明了 NeRF 在工业领域的潜力。此外，论文还展示了 NeRF 在视频压缩和三维运动估计方面的实验结果，证明了它们在这些应用中的有效性。

    Aug, 2023

  • NeRF 是否适用于自动驾驶？向着弥合现实与仿真之间的差距迈进

    通过提出一种新的视角来解决真实和模拟数据之间的差距，我们研究了改善感知模型对 NeRF 伪影的鲁棒性的简单而有效的方法，同时不影响其在真实数据上的性能。我们使用最先进的神经渲染技术，在自动驾驶环境中进行了首次大规模的真实与模拟数据差距研究，发现 FID 和 LPIPS 是强有力的指标。

    Mar, 2024

  • MeshAdv：面向视觉识别的对抗性网格

    本文提出了一种叫做 meshAdv 的方法，用于生成具有丰富形状特征但纹理变化最小的物体的 “对抗性 3D 网格模型”。使用可微渲染器进行对象的形状和纹理的操作，可以有效地攻击分类器和物体探测器，并在不同视角下进行攻击评估，同时设计了一个管道以对具有未知渲染参数的光真实渲染器进行黑盒攻击。

    Oct, 2018

  • 自动驾驶中的神经辐射场：一次综述

    该论文提供了第一份有关神经辐射字段（NeRF）在自动驾驶领域应用的综合调查报告，并对感知、三维重建、同时定位和地图构建以及模拟等应用领域进行了深入分析和总结，并对未来研究方向进行了讨论。

    Apr, 2024

  • LiDAR 物体检测可实现的对抗样本

    本文提出了一种生成通用三维对抗目标的方法，用以干扰自动驾驶系统中激光雷达探测器，这一方法成功率高达 80％，并开展了一些防御研究，旨在建立更安全可靠的自动驾驶系统。

    Apr, 2020

  • 针对基于 LiDAR 的自动驾驶系统的对抗性物体

    本文揭示了基于 LiDAR 的自动驾驶检测系统的潜在漏洞，并通过 LiDAR-Adv 的优化方法生成逃避 LiDAR 检测系统的对抗性物体，并在百度 Apollo 自动驾驶平台上测试和 3D 打印这些物体以证明实际世界中的存在性。

    Jul, 2019