SNeRL: 语义感知神经辐射场与强化学习
本综述全面研究了语义感知的神经辐射场(NeRFs)在视觉场景理解中的作用,覆盖了 250 多篇学术论文的分析。它探讨了 NeRFs 在场景中熟练推断静态和动态物体的三维表示的能力,并介绍了其在生成高质量新视点、补全场景细节(修复)、进行全面场景分割(全景分割)、预测三维边界框、编辑三维场景和提取以物体为中心的三维模型方面的重要性。本研究的一个重要方面是将语义标签应用为视点不变函数,有效地将空间坐标映射到一系列语义标签的过程,从而便于识别场景中的不同物体。总体而言,本综述强调了在视觉场景解释的背景下,语义感知的神经辐射场的发展和多样应用。
Feb, 2024
该论文通过利用神经辐射场的监督来学习状态表示,提出了一种名为 NeRF-RL 的强化学习算法,该算法可用于具有机器人操纵对象的下游强化学习任务,为该任务提供更好的潜在空间。
Jun, 2022
使用多视图输入合成新视图图像,神经辐射场(NeRF)已成为三维视觉中的热门研究课题。本文提出了一种具有一般化语义神经辐射场(GSNeRF)的方法,该方法独特地将图像语义纳入合成过程中,从而能够对未见场景生成新视图图像和相关的语义地图。我们的 GSNeRF 由两个阶段组成:语义地理推理和深度引导的视觉渲染。前者能够从场景中观察多视图图像输入,提取语义和几何特征。在后者的指导下,利用得到的图像几何信息,进行图像和语义渲染,从而提高性能。我们的实验证实了 GSNeRF 在新视图图像和语义分割合成方面优于先前的工作,并进一步验证了我们的采样策略的有效性。
Mar, 2024
优化 Semantic-NeRF 模型以实现仅有语义输出,并移除 RGB 输出成分,通过对比实验证明这种改动对于场景理解、目标检测和分割等任务的影响,提供了渲染场景的新方式并促进了进一步的研究和发展。
Mar, 2024
该论文提出了一种名为 Sparse Neural Radiance Grid 的新方法,它使用学习的稀疏体素网格表示,通过对神经辐射场(Neural Radiance Fields)进行预处理和存储(烘焙)来实现实时渲染。通过该方法,可以在以往的基础上保留了 NeRF 渲染精细几何细节和视图相关外观的能力,实现在普通硬件上进行实时渲染。
Mar, 2021
提出了一种名为 SE-NeRF 的自我进化神经辐射场框架,通过在教师 - 学生框架中将 few-shot NeRF 转化为,将由教师生成的附加伪标签训练学生,通过使用可靠性估计方法提取射线级伪标签,使得 NeRF 能够学习更准确、更强健的三维场景几何,并展示与评估了将该自我训练框架应用于现有模型时改进了渲染图像的质量并在多种环境中实现了最先进的性能。
Dec, 2023
通过分割语义区域并利用神经辐射场学习各自的辐射场,最后合并成完整图像,CNeRF 方法可以实现细粒度的语义区域操作,同时维持高质量的 3D 一致合成。
Feb, 2023
Neural Radiance Field (NeRF) is a framework representing a 3D scene with MLP, achieving state-of-the-art photorealistic image renderings for view synthesis and expanding capabilities to generate views from dynamic scene representations with fewer images for training.
Apr, 2023
我们提出了一种新的通用方法,用于阴影感知的多视角卫星摄影测量。我们的建议方法是采用隐式体积表示学习中的最新进展。通过训练 Shadow Neural Radiance Field (S-NeRF) 模型,我们能够实现对场景进行 3D 形状估算、阴影检测和透明物体过滤,而不需要任何显式形状监督。
Apr, 2021
本研究借鉴神经辐射场(NeRF)的概念,将 SAR 成像机制与神经网络相结合,提出了一种新的 SAR 图像生成模型 SAR-NeRF,它通过自动编码学习了体素的衰减系数和散射强度分布,并在少样本学习任务上实现了较高的分类精度。
Jul, 2023