CVPRMar, 2023

SUDS: 可扩展的城市动态场景

PDF
TL;DR该研究将神经辐射场（NeRF）扩展到动态大规模城市场景。使用有标记和无标记的数据，通过光度、几何和特征度量重建来将动态场景分解为静态背景、个体对象和它们的运动，并在 novel-view synthesis, unsupervised 3D instance segmentation 和 unsupervised 3D cuboid detection 等多种任务中显示出优异性能。
neural radiance fieldsdynamic urban scenesunsupervised 3d instance segmentationlidaroptical flow
发现论文，激发创造
  • 多层级神经场景图用于动态城市环境

    我们提出了一种适用于动态城市环境的新颖分解辐射场方法，通过多级神经场景图表示来估计大规模动态区域的辐射场，并采用快速复合光线采样和渲染技术进行有效的训练和渲染，通过新的视图合成基准测试，我们证明了该方法在更多方面的性能优于先前的方法。

    Mar, 2024

  • RoDUS: 城市场景中静态和动态元素的稳健分解

    使用 RoDUS 分解算法和 NeRF 模型，在城市场景中准确地捕捉静态和动态元素以及减少背景重建中的错误。

    Mar, 2024

  • Sync-NeRF: 将动态 NeRF 推广到异步视频

    利用时间偏移量优化神经辐射场（NeRF）算法来实现对动态场景的重建，解决了单一潜在嵌入对非同步视频帧的不适应性，并在不同基线上取得了显著的改进。

    Oct, 2023

  • 城市区域的动态三维高斯场

    我们提出一种高效的神经 3D 场景表示方法，用于大规模、动态的城市地区的新视点合成 (NVS)。该方法可以适用于混合现实或闭环仿真等应用，具有较高的可视质量和交互式渲染速度。我们引入 4DGF，一种适用于大规模动态城市地区的神经场景表示方法，它可以处理异构输入数据，并显著提高渲染速度。在实验中，我们的方法的峰值信噪比 (PNSR) 超过最先进方法 3 分贝以上，渲染速度提高了 200 倍以上。

    Jun, 2024

  • 基于时间变化表示和动态神经辐射场的追踪和建图

    本研究提出了一种时间变化的表示方法，用于跟踪和重建动态场景，并使用动态选择策略的神经辐射场结合同时定位和建图框架，实现了更有效的动态建图方法。

    Oct, 2023

  • 基于神经渲染的自动驾驶城市场景重建

    利用多模态数据结合深度学习模型进行密集三维重建，从而提高自动驾驶中的标注验证、数据扩充、缺失 LiDAR 系统的地面真值注释以及自动标记准确性的应用效果。

    Feb, 2024

  • D$^2$NeRF: 自监督解耦单目视频中的动态和静态物体

    本文介绍了一种自我监督的方法 D^2NeRF，可以基于单目视频学习 3D 场景，分离动态物体与静态背景，实现影子的分离与消除，并在各种场景下获得较好的效果。

    May, 2022

  • UniSDF：统一神经表示用于具有反射的复杂场景的高保真度 3D 重建

    提出了 UniSDF，一个可以重建具有反射表面的大规模复杂场景的通用 3D 重建方法。通过在 3D 空间中明确混合视图和反射颜色预测参数化技术，使得重建的表面在几何上更准确，特别是对于反射表面。通过与多分辨率网格主干结合，该方法以粗糙到精细的方式进行训练，实现比以前的方法更快的重建速度。大量实验表明，该方法能够稳健地重建具有精细细节和反射表面的复杂大规模场景。

    Dec, 2023

  • 神经辐射场场景重建探索：合成、真实世界和动态场景

    该论文主要研究使用神经辐射场（NeRF）方法对合成和真实场景进行 3D 重建，包括利用多分辨率哈希编码等技术在静态和动态场景重建方面的研究。其中，还着重探讨了神经辐射场（D-NeRF）对动态场景重建的应用，并成功将其推广至真实世界动态场景。

    Oct, 2022

  • OD-NeRF：实时动态神经辐射场的高效训练

    提出了 OD-NeRF，它可以实现动态三维场景的流式训练和渲染，并在实现帧间隐式跟踪和采样方面取得了重要进展。

    May, 2023