可渲染的神经辐射图用于视觉导航
我们提出了 Le-RNR-Map,一种利用自然语言查询提示进行视觉导航的语言增强可渲染的神经辐射图。通过在像素中位置处于每个像素位置的潜在编码的网格结构,Le-RNR-Map 可以实现:i)根据相机姿态进行图像渲染,由于它们被转化为神经辐射场;ii)具有惊人的准确性的图像导航和定位。此外,我们还使用基于 CLIP 的嵌入潜在编码增强了 RNR-Map,以实现无需额外标签数据的自然语言搜索。我们评估了此地图在单一和多对象搜索中的有效性,并探讨了它与大型语言模型作为 “可供查询解析器” 的兼容性。代码和视频可在此 https URL 获取。
Aug, 2023
利用神经辐射场(Neural Radiance Fields)的连续体密度和 RGB 值的神经网络,以及基于射线追踪的方式生成真实照片,我们提出了一种利用机载 RGB 摄像头的算法,使机器人在 NeRF 表示的 3D 场景中导航,并通过一种优化算法避免与高密度区域的碰撞,并在线重新规划路径。
Oct, 2021
本文提出了一种新颖的可重光的神经渲染器(RNR),可以使用多视图图像输入进行同时视图合成和重光。与现有的神经渲染(NR)不同,RNR 明确建模物理渲染过程,从而提高了调光的能力,并提高了视图合成的质量。对合成和真实数据的全面实验表明,RNR 为进行自由视点重光提供了实用有效的解决方案。
Nov, 2019
利用预训练的分层神经辐射表示模型产生多层次语义特征,用于预测未来环境,提出前瞻导航模型以构建可导航的未来路径树并通过有效的并行评估选择最佳路径。
Apr, 2024
VRS-NeRF 是一种用于视觉重定位的高效准确的框架,通过稀疏神经辐射场的显式几何地图和隐式学习映射来提高精度和效率,实验证明,该方法在准确性上优于 APRs 和 SCRs,与 HMs 接近且更为高效。
Apr, 2024
该论文提出了一种新的非刚性动态场景重建和新视角合成方法 ——NR-NeRF,该方法能够使用一个便携式消费级相机拍摄到的动态场景的 RGB 图像创建高质量的时空几何和外观表示,并且可以生成复杂的渲染场景。
Dec, 2020
本篇论文介绍了一个结合蒙特卡罗定位 (Monte Carlo localization) 和神经辐射场模型 (Neural Radiance Fields) 的机器人实时视觉定位方法 ——Loc-NeRF,它不依赖于初始位姿估计,可以使用机器人上的 RGB 相机在预训练的 NeRF 模型地图上实现实时本地化,相比现有技术能够更快地完成本地化。我们通过 Clearpath Jackal UGV 的真实数据验证了该方法的有效性,并将代码公开在一个 https URL 上。
Sep, 2022
优化 NeRF 模型时,良好的数据样本和有效的相机位置选择对于最终重建的可视化质量至关重要。本研究提出了一种算法,能够以最少的假设来提供改善可视化质量的新相机位置,并在各方面优于基线和类似方法。
Aug, 2023
本文提出了可动态变化神经辐射场 (animatable NeRF) 的方法用于从单眼视屏中创建细节丰富的人物角色,通过引入显式姿势引导变形的方式学习场景表示网络扩展神经辐射场 (NeRF) 到带有人体运动的动态场景,并展示了该方法在人物几何和外观重建、真实感渲染和动画设计等方面取得了突破性成果。
Jun, 2021
该研究提出了一种名为 GMNR 的多平面神经辐亮度模型,其包含一个用于学习视角相关信息的新型 α 引导视角依赖表示模块(α-VdR 模块)和一个视角一致性损失,可以高效地生成视角一致的 3D 感知高分辨率图像。
Apr, 2023