MMApr, 2023

基于比较性神经辐射场（NeRF）的 HoloLens 轨迹和运动结构摄像机姿态三维分析

PDF
TL;DR利用 Neural Radiance Fields (NeRFs) 训练高分辨率 3D 重建，包括使用 HoloLens 数据提取内部摄像机姿态和通过结构光运动提取外部摄像机姿态，两者均通过姿态优化得到改善；结果表明，相较于传统的 Multi-View Stereo 密集重构方法，在完整性和细节层面上，NeRF 重建表现更好。
neural radiance fieldsphotogrammetryhololenscamera poses3d reconstruction
发现论文，激发创造
  • 将 HoloLens 与 Instant-NeRFs 相结合：先进的实时 3D 移动建图

    本研究利用 Microsoft HoloLens 2 作为多传感器平台，包括 RGB 相机和惯性测量单元用于 SLAM，结合 Neural Radiance Field 技术实现基于 RGB 相机图像的 3D 重建，相比于网格采样的 NeRF 算法提高了数倍的性能，是一种移动 3D 地图实时重建方法。

    Apr, 2023

  • DroNeRF：多智能体实时无人机姿态优化计算神经辐射场

    本文介绍了一种新型的优化算法 DroNeRF，用于通过少量图像实现单目相机无人机在物体周围自主定位，实现实时三维重建。文章使用 Neural Radiance Fields 或 NeRF，以只依赖于物体几何学而不使用任何外部定位系统的方式计算单个无人机的最佳姿态，并评估了生成的新视图的质量，表现出更好的感知度。

    Mar, 2023

  • LENS: 借助 NeRF 合成增强的本地化

    本文提出将新视角合成应用于机器人重定位问题，通过 NeRF 类算法所渲染的额外合成数据集，从内部表示的三维场景几何形态中选择虚拟相机位置，进一步改进了姿态回归器的定位精度，结果大幅降低了 Cambridge 地标和 7 景数据集的误差，并将精度与基于结构的方法相媲美，无需架构修改或领域适应性约束，因为该方法允许几乎无限产生训练数据，我们调查了在公共基准数据集上进行训练所使用的数据大小和分布对相机姿态回归的限制，得出结论，姿态回归精度在很大程度上受到相对较小且有偏的数据集的限制，而非姿态回归模型解决本地化任务的能力。同时，采用合成的逼真且具有几何一致性的图像进行数据增强。

    Oct, 2021

  • H-NeRF: 人体运动的神经辐射场渲染与时间重建

    本文提出了神经辐射场用于人物运动的渲染和时空（4D）重建，该方法将神经场表示、新视角合成和隐式统计几何人类表示相结合，并应用于人类姿势识别和服装模拟。

    Oct, 2021

  • 基于神经辐射场的工业机器人应用中的新视角合成

    本研究评估了 Neural Radiance Fields 在工业机器人应用中的潜力，并提出了一种替代 Structure from Motion 预处理的方法，通过基于机器人运动学的度量尺度确定了精确的相机姿态，表明在具有挑战性的场景中具有明显优势，并展示了在缺乏真实数据的情况下，应用集成方法估计合成新视图的质量的初步结果。

    May, 2024

  • 基于神经辐射场的全息术 [邀请]

    该研究提出了一种基于神经辐射场（NeRF）技术的生成全息图的新方法。使用深度神经网络在合理的时间内构建了从 2D 图像生成的 3D 光场的渲染流程，包括 NeRF、深度预测器和全息图生成器，而不需要任何物理计算。通过该流程，可以计算从任意方向观看的 3D 场景的预测全息图。研究还展示了仿真和实验结果。

    Mar, 2024

  • CT-NeRF：复杂轨迹下的逐步优化神经辐射场与姿态

    CT-NeRF 是一种仅使用 RGB 图像而不需要姿态和深度信息的增量重建优化管道，通过本地 - 全局捆绑调整和重投影几何图像距离约束，实现对相机姿态和场景结构的恢复，能够处理具有复杂轨迹的场景，并在新视角合成和姿态估计准确度方面优于现有方法。

    Apr, 2024

  • 从纹理空间中为 NeRFs 进行动画：一种基于姿态的人类表演渲染框架

    基于 NeRF 的人体表演姿态依赖渲染的新方法，通过将辐射场围绕 SMPL 人体模型进行扭曲，实现了新的表面对齐表示，可以通过骨骼关节参数和视点来实现动画化，并通过引入新的重新映射过程来实现高质量渲染。

    Nov, 2023

  • Enhance-NeRF: 神经辐射场的多重性能评估

    该研究通过提出 Enhance-NeRF 模型，增强神经放射场（NeRF）在虚拟现实和增强现实等领域的三维重建应用，改进了场景识别和学习能力，有望广泛应用于照明、材质和形状的室外场景重建，具备插拔式的易用性，并能够与其他 NeRF-based 模型轻松集成。

    Jun, 2023

  • 从单目 RGB 视频中生成可动态调整神经辐射场

    本文提出了可动态变化神经辐射场 (animatable NeRF) 的方法用于从单眼视屏中创建细节丰富的人物角色，通过引入显式姿势引导变形的方式学习场景表示网络扩展神经辐射场 (NeRF) 到带有人体运动的动态场景，并展示了该方法在人物几何和外观重建、真实感渲染和动画设计等方面取得了突破性成果。

    Jun, 2021