Dec, 2023

BerfScene: 基于 Bev 的等变辐射场用于无限 3D 场景生成

PDF
TL;DR生成大规模 3D 场景需要应用现有的 3D 对象合成技术，并且场景通常具有复杂的空间配置，并由多个对象组成，不同细度的尺度。因此，我们提出了一种实用且高效的 3D 表示方法，该方法将等变辐射场与鸟瞰图进行了结合。具体来说，通过操纵相应的鸟瞰图，可以轻松操作合成的 3D 场景中的对象。此外，通过充分融合位置编码和低通滤波器到生成器中，该表示对给定的鸟瞰图是等变的。这种等变性使得我们能够通过合成局部场景然后以平滑的一致性连接它们来生成大规模甚至是无限规模的 3D 场景。对 3D 场景数据集的大量实验证明了我们方法的有效性。详见项目网站链接。
3d scenesequivariant radiance fieldbird's-eye view mapsynthesis techniqueposition encoding
发现论文，激发创造
  • 基于混合二维语义场景生成的 LiDAR 三维物体检测

    本研究提出了一种将三维环境的语义和几何以二维形式编码的场景表示法，并使用辅助网络预测显式和隐式语义概率的组合作为更好的 BEV 特征学习的密集监督信号，实验证明该设计可以轻松集成到大多数先进的三维物体检测器中，并始终改善基线模型。

    Apr, 2023

  • GRAF: 用于三维感知图像合成的生成辐射场

    本文提出了一种基于放射场的生成模型，该模型具有高保真度的可渲染三维一致模型，能够更准确地控制相机视点和物体姿态，并通过一个多尺度基于补丁的鉴别器来演示高分辨率图像的合成。

    Jul, 2020

  • 使用神经辐射场表示场景进行视角合成

    本文介绍了一种使用深度神经网络进行视图综合和图像合成的方法，通过连续的体积场函数来优化复杂场景的视图，并在神经辐射场方面取得了最新的研究成果。

    Mar, 2020

  • SIGNeRF: 基于场景集成生成的神经辐射场

    SIGNeRF 是一种快速和可控的 NeRF 场景编辑和场景整合对象生成的新方法，通过图像扩散模型的深度条件机制，在一次迭代中基于参考图像集合对原始 NeRF 进行更新和改进，从而实现三维一致性视图生成。

    Jan, 2024

  • 具有阴影指导的 NeRF 合成

    本文提出了一种叫做 NeRF 综合的新任务，利用 NeRF 补丁范例的结构内容构建大尺寸的新辐射场，我们提出了一种两阶段的方法来综合新场景，控制场景的照明效果采用阴影指导而不是分离场景，我们表明了我们的方法可以生成高质量的结果，对曲面上的新场景进行综合，增强了我们所提出的 NeRF 综合方法的实用性。

    Jun, 2023

  • 高效神经辐射场用于交互式自由视点视频

    本文提出了一种名为 ENeRF 的场景表示，用于快速创建交互式自由视点视频，并实现了深度预测和辐射场网络的联合学习，通过针对场景表面附近的点进行采样，从而显著提高了渲染速度。在多个基准测试中进行实验，结果表明我们的方法在表现上具有竞争力，同时比先前的泛化辐射场方法快至少 60 倍。

    Dec, 2021

  • DisCoScene: 控制性空间解耦生成光辐射场用于三维感知场景合成

    本研究针对现有 3D 感知图像合成的方法过于依赖单一范式物体生成，无法胜任包含多种物体的复杂场景的问题，提出了 DisCoScene：一种适用于高质量、可控的场景合成的 3D 感知生成模型。

    Dec, 2022

  • 语义占用地图中的城市场景扩散

    利用 Bird's-Eye View 地图条件的 3D 扩散模型 UrbanDiffusion 生成具有几何和语义的城市场景，并通过训练实际驾驶数据集，该模型能够生成多样性的城市场景，进一步将生成的场景扩展到任意规模，并通过预训练的图像生成器实现场景图像合成的应用。

    Mar, 2024

  • NeRF++：分析和改进神经辐射场

    通过 NeRF 的方法来实现对于图像的 View Synthesis, 本文提到了 NeRF 的成功之处以及在应用于大规模无界三维场景中进行改进，使其在 360° 的拍摄模式下提高拍摄质量。

    Oct, 2020

  • 等变神经渲染

    该论文提出了一种从图像中直接学习神经场景表示的框架，通过引入一种强制要求该场景表示对于 3D 变换等变的损失函数，使得我们可以实时推断和渲染场景，并在标准 ShapeNet 基准测试上获得了很好的结果。

    Jun, 2020