Apr, 2023

NSLF-OL: 神经表面光场的在线学习与实时增量三维重建

PDF
TL;DR本文提出一种新的神经表面光场模型，以应对机器人 3D 建模中拍摄视角限制的挑战，未来可以用于机器人探索等领域。同时，也设计了一种多个异步神经代理的框架，用于在大规模成长场景中对小区域进行并行学习。
immersive novel view generationneural surface light fieldsreal-time 3d reconstructionmultiple asynchronous neural agentsrobotic exploration
发现论文，激发创造
  • NeuLF: 基于神经网络的 4D 光场高效新视角合成

    本文提出了一种深度学习方法，用于复杂场景的新视角合成，通过将 3D 场景表示为光场，并采用两平面参数化的光场，用 4D 参数特征化光线，构建 4D 函数实现映射，最后采用全连接网络优化该函数并合成新视角，同时附加了 per-ray depth 预测，提高了光场渲染质量，实验表明本方法优于现有技术。

    May, 2021

  • SiLVR: 大规模激光雷达视觉重建与神经辐射场用于机器人检测

    本研究提出了一种基于神经场的大规模重建系统，它利用激光雷达和视觉数据生成几何精确且具有照片级真实纹理的高质量重建，同时使用激光雷达 SLAM 系统提供深度和表面法线的强几何约束来改进传统的神经辐射场表示方法。

    Mar, 2024

  • 城市辐射场

    从由摄像头和扫描器捕捉的 RGB 图像和激光雷达扫描序列中，使用我们的扩展方法，生成具有深度信息的 3D 表面，以及合成新颖的 RGB 图像。

    Nov, 2021

  • NeLF: 人像视角合成与重照神经光传输场

    本文提出了基于神经网络的多景象人像合成与灯光照射预测系统，它可以同时实现多视角下的人像合成与灯光照射预测，并在合成质量上达到了最先进水平。

    Jul, 2021

  • LightSpeed：移动设备上轻量快速的神经光场

    在移动设备上实时进行新视角图像合成由于有限的计算能力和存储而受到限制。体积渲染方法（如 NeRF 及其衍生方法）在移动设备上使用不适宜，因为其计算成本高。然而，神经光场表示方法的最新进展在移动设备上展示了有希望的实时视角合成结果。我们发现使用光场平板表示对于学习神经光场是一种有效的表示方法。更重要的是，它是一种低维的射线表示方法，使我们能够使用相对更快的特征网格来学习 4D 射线空间。我们的方法提供了比以前的光场方法更高的渲染质量，并在渲染质量和速度之间实现了显著的改进平衡。

    Oct, 2023

  • SurfelNeRF: 神经 Surfel 辐射场用于在线照片般逼真的室内场景重建

    本文提出了 SurfelNeRF，这是一种基于神经辐射场的新型算法，将灵活可扩展的神经 Surfel 表示与 NeRF 渲染结合起来，用于高效的在线重建和高质量渲染大规模室内场景，并通过高效的可微栅格化方案实现了 10 倍的速度提升，并在 ScanNet 数据集上实现了最先进的结果。

    Apr, 2023

  • 基于单目深度的神经表面场用于人体建模

    通过具有个性化、三维可动角色的单目摄像头获取数据，在建模动态、细粒度服装变形方面存在挑战。本文提出了一种名为 ' 神经表面场 ' 的新方法，用于从单目深度数据中建模穿着服装的三维人物，以超越现有方法的局限性，具有计算效率高、网格连贯性好以及能够重建任意分辨率网格等优势。

    Aug, 2023

  • NLDF：用于高效三维动态说话头生成的神经光动力场

    提出了一种基于神经辐射场模型的说话脸生成方法，通过利用神经光动力场模型来加速渲染速度，同时使用知识蒸馏和动态训练策略，实现了生成高质量三维说话脸视频的效果和速度的显著提升。

    Jun, 2024

  • 移动设备上的高效神经光场

    该研究论文介绍了一种新型网络结构，通过通道结构剪枝的压缩技术，可以在移动设备上高效运行，对于新颖视图合成、神经辐射场、神经光场和移动设备都具有重要的研究意义。

    Jun, 2024

  • 学习隐式表面光场

    本研究提出了一种隐式表示法，以捕捉物体表面在光场中的视觉外观，并证明了该方法能够在使用单个真实 RGB 图像和对应的三维形状信息时预测未见过的物体的视觉外观。该方法建立了一个连续的表面光场表示，独立于几何形状，并且在特定照明条件下可嵌入到可变自编码器中进行生成新的外观的任务中。

    Mar, 2020