Mar, 2024

NeRF 是否适用于自动驾驶？向着弥合现实与仿真之间的差距迈进

PDF
TL;DR通过提出一种新的视角来解决真实和模拟数据之间的差距，我们研究了改善感知模型对 NeRF 伪影的鲁棒性的简单而有效的方法，同时不影响其在真实数据上的性能。我们使用最先进的神经渲染技术，在自动驾驶环境中进行了首次大规模的真实与模拟数据差距研究，发现 FID 和 LPIPS 是强有力的指标。
neural radiance fieldsautonomous drivingsimulationrendering fidelityperception model robustness
发现论文，激发创造
  • NeuRAD：用于自动驾驶的神经渲染

    NeuRAD 是专为动态自动驾驶数据量身定制的强大的新视图合成方法，具有简单的网络设计、广泛的传感器建模和适应多个数据集的能力，并在多个领域取得了最先进的性能。

    Nov, 2023

  • 自动驾驶中的神经辐射场：一次综述

    该论文提供了第一份有关神经辐射字段（NeRF）在自动驾驶领域应用的综合调查报告，并对感知、三维重建、同时定位和地图构建以及模拟等应用领域进行了深入分析和总结，并对未来研究方向进行了讨论。

    Apr, 2024

  • S-NeRF++：基于神经重建和生成的自动驾驶仿真

    S-NeRF++ 是一种基于神经重建的创新自动驾驶仿真系统，它能够生成大量具有高渲染质量的逼真街景和前景物体，并具有灵活的操作和模拟能力。通过使用质量较高的仿真数据，我们发现感知方法在几个自动驾驶下游任务上享受了性能提升，进一步证明了我们提出的仿真器的有效性。

    Feb, 2024

  • DiL-NeRF：透视街景中的激光雷达神经辐射场探究

    利用 Lidar 数据改善街景下基于神经辐射场的光线追踪和视图合成技术。

    May, 2024

  • 神经相似度：使用 NeRF 学习生成训练数据

    本文介绍了一种使用神经放射场的全可微合成数据管道，可在不需要人力劳动的情况下按需生成数据，从而使得目标任务的准确性最大化。作者在合成和实际的物体检测任务中展示了方法的有效性，并引入了一个可用于真实场景中具有不同姿势的物体检测的新数据集和基准测试 (YCB-in-the-Wild)。

    Jul, 2022

  • MARS: 一个面向实例的、模块化和逼真的自动驾驶模拟器

    基于神经辐射场（NeRF）的自主驾驶模拟器具有独立的前景模型和背景环境网络，支持模块化设计，实现了最新的照片级逼真效果，并将以开源形式发布，为自主驾驶模拟的学术进展和行业部署提供支持。

    Jul, 2023

  • 分而治之：重新思考神经辐射场的训练范式

    通过将输入视图按照其视觉相似性划分为多个组，并在每个组上训练单独的模型，然后通过教师 - 学生蒸馏范式将这些专门模型的知识聚合为一个实体，我们重新设计了 NeRF 的训练范式，提高了其渲染质量并实现了空间效率。

    Jan, 2024

  • Adv3D：使用 NeRF 在驾驶场景中生成 3D 对抗样本

    经过对 3D 物体检测的 DNN 系统进行研究，我们提出了 Adv3D，这是首次将对抗样本建模为神经辐射场（NeRF）的探索。我们训练了具有真实外观和 3D 准确生成能力的对抗性 NeRF，通过最小化训练集中 3D 检测器预测的周围物体置信度来训练。我们还提出了基于原始感知采样和语义引导正则化的方法，以生成适应于 3D 环境中的伪装对抗纹理的 3D 补丁攻击。实验结果表明，所训练的对抗性 NeRF 对不同姿势、场景和 3D 检测器具有很好的泛化性能。最后，我们提供了一种通过数据增强进行对抗性训练的防御方法。

    Sep, 2023

  • Enhance-NeRF: 神经辐射场的多重性能评估

    该研究通过提出 Enhance-NeRF 模型，增强神经放射场（NeRF）在虚拟现实和增强现实等领域的三维重建应用，改进了场景识别和学习能力，有望广泛应用于照明、材质和形状的室外场景重建，具备插拔式的易用性，并能够与其他 NeRF-based 模型轻松集成。

    Jun, 2023

  • 野外无干扰 NeRFs 的即时利用不确定性

    通过简单高效的方法，在复杂的野外场景中从仅仅随意捕捉的图像序列中合成新视角，去除干扰物以及极大地提高收敛速度，从而显著改进了现有技术，为 NeRF 在各种多样化的动态现实应用中开辟了新的研究方向。

    May, 2024