Dec, 2023

使用组合神经场的动态激光雷达重新模拟

PDF
TL;DR通过处理动态环境中的 LiDAR 测量和移动物体的边界框，我们介绍了一种名为 DyNFL 的新颖神经场方法，用于高保真度地重新模拟动态驾驶场景。我们的方法通过神经场构建、静态背景和动态物体的分离重建，允许用户在重新模拟的场景中修改视点、调整物体位置，并无缝地添加或移除物体。我们的方法的一个关键创新是神经场合成技术，通过光线投射测试有效地整合来自不同场景的重建神经资源，考虑到遮挡和透明表面。我们在合成和真实环境中的评估表明，DyNFL 显著改进了基于 LiDAR 扫描的动态场景模拟，提供了物理保真度和灵活的编辑能力的组合。
发现论文，激发创造
  • 神经 LiDAR 场用于新视角合成

    本文提出了一种基于神经场的雷达（NFL）方法，该方法旨在从 LiDAR 测量中优化神经场场景表示，以便合成来自新视点的逼真的 LiDAR 扫描。该方法与 LiDAR 传感过程的详细、物理上可靠的模型相结合，能够准确地再现关键传感器行为，如光束发散、次级返回和光线丢失。我们在合成的和实际的 LiDAR 扫描上评估了 NFL，并表明它在 LiDAR 新视点合成任务上优于显式重建 - 模拟方法以及其他类似 NeRF 的方法。此外，我们展示了综合视图的改善逼真性将领域差距缩小到实际扫描，并转化为更好的注册和语义分割性能。

    May, 2023

  • LiDAR4D: 动态神经场用于新颖时空视角 LiDAR 合成

    基于 LiDAR 的 LiDAR4D 框架，通过 4D 混合表示和几何限制，实现了具有几何感和时间一致性的动态重构技术。

    Apr, 2024

  • LiDAR-NeRF: 基于神经辐射场的全息 LiDAR 视角综合

    本文提出了一种用于 LiDAR 传感器的新型视角合成任务，并介绍了一种可微分的 LiDAR 渲染器及其结合神经辐射场的端到端框架，证明了该方法在多种数据集上的优越性。

    Apr, 2023

  • 4D-Editor: 通过 4D 语义分割在动态神经辐射场中进行交互式物体级编辑

    本文介绍了 4D-Editor，一种基于用户画笔在单帧上编辑动态 NeRF 中多个对象的交互式语义驱动编辑框架，通过混合的语义特征场构建动态场景表示以保持时空一致性，并使用递归选择细化方法加强了动态 NeRF 中的分割准确性，此外，还开发了多视图重投影修复方法，用于填补编辑后由于不完整场景捕捉而产生的空洞，通过实验和真实世界的编辑示例表明，4D-Editor 可以实现真实感的动态 NeRF 编辑。

    Oct, 2023

  • 足球场景的动态 NeRFs

    通过使用动态 NeRFs 重建足球场景，我们探索了基于这一方法解决视角合成任务的可行性，并识别出帮助使用动态 NeRFs 重建足球场景的关键组成部分，表明这种方法虽然不能完全满足目标应用的质量要求，但提出了一种节省成本、自动化的解决方案。

    Sep, 2023

  • 神经辐射场场景重建探索：合成、真实世界和动态场景

    该论文主要研究使用神经辐射场（NeRF）方法对合成和真实场景进行 3D 重建，包括利用多分辨率哈希编码等技术在静态和动态场景重建方面的研究。其中，还着重探讨了神经辐射场（D-NeRF）对动态场景重建的应用，并成功将其推广至真实世界动态场景。

    Oct, 2022

  • DynIBaR: 神经动态图像渲染

    本篇论文提出一种基于体积图像渲染的新方法，通过汇集场景相邻视野的特征，以动态场景感知的方式合成新视点，从而在长视频中合成具有真实感的新视图，能够更好地应对复杂的场景动力学和不受限约束的相机轨迹。

    Nov, 2022

  • D-NeRF：用于动态场景的神经辐射场

    本文提出了 D-NeRF 方法，将神经辐射场扩展到动态领域，允许从单个相机围绕场景重建和渲染对象的新图像。通过将时间作为系统的额外输入，并将学习过程分为两个主要阶段，可以同时学习两个映射，实现控制相机视图和时间变量以及物体移动的目的。

    Nov, 2020

  • LANe: 用于组合场景合成的光照感知神经场

    本文提出了一种名为 Lighting-Aware Neural Field (LANe) 的方法，以在具有物理一致性的条件下进行组合合成物体，该方法采用神经场来表征 3D 场景，将静态背景和瞬态元素分离成世界 - NeRF 和类特定的物体 - NeRFs，并明确地设计了世界和物体模型以处理照明变化，以便将物体组合到具有空间变化照明的场景中。

    Apr, 2023

  • 多层级神经场景图用于动态城市环境

    我们提出了一种适用于动态城市环境的新颖分解辐射场方法，通过多级神经场景图表示来估计大规模动态区域的辐射场，并采用快速复合光线采样和渲染技术进行有效的训练和渲染，通过新的视图合成基准测试，我们证明了该方法在更多方面的性能优于先前的方法。

    Mar, 2024