实现安全可靠的自动驾驶车辆开发的关键是逼真的模拟。传感器模拟是其中的核心组成部分，可以在模拟中测试整个自主系统。然而，目前的基于传感器数据的自动重建方法在野外数据的稀疏性和噪声方面存在问题。为了解决这些问题，我们提出了 CADSim 方法，它通过小量 CAD 模型的部件感知目标类别先验和可微分渲染来自动重建包括有良好真实感的车辆几何形状，包括关节轮。我们的实验证明，与现有方法相比，我们的方法可以更准确地从稀疏数据中恢复形状，并且训练和渲染效率高。我们在几个应用中展示了我们重建的车辆，包括对自主感知系统的准确测试。

Nov, 2023

本文提出了一种名为 LiDARsim 的模拟器，利用真实数据生成 3D 场景，通过物理模拟和深度神经网络相结合来生成 LiDAR 点云，用于测试感知算法和评估安全场景。

Jun, 2020

利用多模态数据结合深度学习模型进行密集三维重建，从而提高自动驾驶中的标注验证、数据扩充、缺失 LiDAR 系统的地面真值注释以及自动标记准确性的应用效果。

Feb, 2024

研究提出了一个名为 LightSim 的神经照明相机模拟系统，用于在不同照明条件下产生多样化、逼真且可控的数据生成，实验结果显示 LightSim 产生的实际光照效果比以往工作更逼真，并且基于 LightSim 生成的数据可以显著提高感知模型的性能。

Dec, 2023

本文提出了一种基于 GeoSim 的几何感知图像合成过程，通过从其他场景中提取的动态对象进行图像合成从而合成新的城市驾驶场景，该方法能够生成真实的、交通意识的、几何一致的合成图像，适用于复杂的场景规模，并演示了其在长程实际视频模拟和合成数据增强等领域的有用性。

Jan, 2021

该研究提出了一种新颖的神经表面重建方法 NeuS，将表面表示为带符号距离函数的零水平集，并开发了一种新的体积渲染方法来训练神经 SDF 表示，自主进行高保真度的物体和场景三维重建。

Jun, 2021

提出了一种机器人感知的模拟到现实（sim-to-real transfer）方法，使用单个多头神经网络将模拟立体数据作为输入，输出模拟对象分割掩码、3D 定向边界框、对象关键点和视差等，通过学习过的立体子网络进行预测。该方法在机器人对未知对象的 2D 检测、未知物体检测和可变形物体关键点检测方面表现出色，能够高效且准确地抓取对象，甚至包括透明对象等难处理的物品。

Jun, 2021

应用神经网络在雷达图像中进行目标检测，在自动驾驶方面显示出巨大潜力。为了解决真实雷达图像数据集获取的困难，特别是在长距离检测和恶劣的天气和光照条件下，雷达性能表现优异的场景，我们提出了 RadSimReal - 一种创新的物理雷达模拟工具，能够生成各种雷达类型和环境条件下的合成雷达图像及其标注，无需收集真实数据。令人惊讶的是，我们的研究结果表明，在 RadSimReal 数据上训练目标检测模型，并随后在真实世界数据上进行评估，产生的性能水平与在相同数据集上训练和测试的模型相当，甚至在跨不同真实数据集进行测试时，性能更好。RadSimReal 相比其他物理雷达模拟工具具有优势，因为它不需要了解雷达设计细节，而雷达供应商通常不会公开这些细节，并且具有更快的运行时间。这个创新工具有潜力推进基于雷达的自动驾驶应用的计算机视觉算法的发展。

Apr, 2024

准确模拟真实世界物体动态对于机器人、工程、图形和设计等各种应用至关重要。我们提出了一种减少运行基于图网络的学习模拟器所需内存的方法。基于这种内存高效的模拟模型，我们提供了一种感知界面，以可编辑的 NeRFs 形式将真实世界场景转换为图网络模拟器可以处理的结构化表示。我们展示了我们的方法使用的内存远远少于以前基于图网络的模拟器同时保持其准确性，并且合成环境中学习的模拟器可以应用于从多个摄像机角度捕捉的真实世界场景，从而扩展了学习模拟器在仅在推断时有感知信息的设置中的应用。

Jan, 2024

本文提出了一种用于从 LiDAR 重建大规模城市场景的动态表面重建方法，通过全局优化降低预测表面与输入 LiDAR 扫描数据的距离，实现了对刚性移动物体的运动补偿，并展示了该系统在自动标记局部注释序列和生成难以标记问题的真实注释方面的应用。

Jun, 2024