Dec, 2023

LightSim：城市场景的神经光照模拟

PDF
TL;DR研究提出了一个名为 LightSim 的神经照明相机模拟系统，用于在不同照明条件下产生多样化、逼真且可控的数据生成，实验结果显示 LightSim 产生的实际光照效果比以往工作更逼真，并且基于 LightSim 生成的数据可以显著提高感知模型的性能。
outdoor illumination conditionsimage-based robot perception systemscamera simulationneural lighting camera simulation systemdiverse and controllable data generation
发现论文，激发创造
  • 神经相机模拟器

    本论文提出了一个基于深度神经网络的可控相机模拟器，能够在不同的相机设置下合成原始图像数据，包括曝光时间、ISO、光圈等，并且能够用于大光圈增强、HDR、自动曝光和数据增强等多个应用领域。同时，也是第一个利用传统原始传感器特征和数据驱动深度学习优势模拟相机传感器行为的尝试。

    Apr, 2021

  • 通过协作 LLM-Agent 实现自动驾驶中的可编辑场景模拟

    ChatSim 是第一个通过自然语言指令和外部数字资产实现可编辑的照片级 3D 驾驶场景模拟的系统，它利用大型语言模型 (LLM) 代理协作框架实现了高命令灵活性的编辑，并采用了新颖的多摄像机神经辐射场方法以实现逼真的结果，还借助了新颖的多摄像机光照估计方法以实现场景一致的资产渲染，实验证明 ChatSim 能处理复杂的语言指令并生成相应的逼真场景视频。

    Feb, 2024

  • DarkGS: 学习神经照明和 3D 高斯重照技术，用于黑暗环境下的机器人探索

    我们介绍了一种新的框架，使用数据驱动方法来模拟和校准摄像机 - 光源系统，并应用于创建一种可重新照明的 3D 高斯场景模型，从而实现了从新的视点进行实时、逼真渲染的能力，并展示了我们所提出的模拟器和系统在各种实际环境中的适用性和强健性。

    Mar, 2024

  • 重建现实中的物体用于逼真的传感器模拟

    从稀疏的野外数据中准确估计几何和逼真外观，并将其渲染到新颖视角中，以增加机器人训练和测试的现实感、多样性和规模的研究。

    Nov, 2023

  • SIMBAR: 用单一图像实现场景光照重构，用于自动驾驶视觉任务的有效数据增强

    本文介绍了一种新的基于图像的重新照明管道 SIMBAR，可以使用单个图像作为输入来改善现有的自动驾驶视觉任务数据集，通过与基准方法进行实证比较和对象检测跟踪实验，结果显示 SIMBAR 的数据增强效果显著，取得了很好的实验成果。

    Apr, 2022

  • 基于物理的单图像室内场景光照编辑

    本文提出了一种使用神经渲染框架的方法，通过利用预测的深度数据和光源分割掩模，从单个图像中编辑复杂室内照明，解决了通过局部 LDR 场景观察从而对 HDR 照明进行建模和分离的难题，其特点在于综合使用场景重建和参数化 3D 照明的方法。

    May, 2022

  • LiDARsim: 通过利用现实世界，实现逼真的激光雷达模拟

    本文提出了一种名为 LiDARsim 的模拟器，利用真实数据生成 3D 场景，通过物理模拟和深度神经网络相结合来生成 LiDAR 点云，用于测试感知算法和评估安全场景。

    Jun, 2020

  • 基于模型的深度卷积神经网络仿真

    该论文研究使用虚拟环境训练 CNN 模型的有效性，并针对城市语义理解提出了一种简单的概率场景模型，开发了参数化渲染工具进行数据综合，并系统地探索了真实感水平对 CNN 模型普适性的影响以及域自适应概念，以减少性能偏差。

    May, 2016

  • 基于卷积神经网络的室内场景理解的物理渲染

    本研究介绍了一个大规模的合成数据集，该数据集包括来自 4.5k 个室内场景的 40 万张基于物理的渲染图像，研究了不同的渲染方法和场景照明对深度学习算法在表面法线预测、语义分割和物体边界检测三个计算机视觉任务中的影响，并表明，使用这个新的合成数据集进行预训练可以提高所有三个任务的结果。

    Dec, 2016

  • 基于 GAN 的激光雷达强度模拟

    开发自动驾驶中，真实车辆传感器模拟是重要的因素。我们提出利用基于数据的方法，使用来自实际测试驾驶的相机图像和 LiDAR 扫描数据训练生成对抗网络，实现相互翻译。通过添加分割数据和密集深度图像的相机图像，以及通过测试真实与合成点云之间物体检测网络的泛化效果评估 LiDAR 模拟性能，我们结合这两种方法，模拟并展示了真实的 LiDAR 点云。

    Nov, 2023