基于神经渲染的无监督连续语义适应
通过利用场景语义先验,加快训练速度和提高渲染效果,本文改进了 NeRF-based 模型,在特定目标上进行快速训练,并且对所有 NeRF-based 模型都适用。此外,通过稀疏采样负射线样本并研究弱监督方法,进一步加速训练并保持渲染质量。最后,通过扩展像素语义和颜色渲染公式,提出了一种新的场景编辑技术,以实现特定语义目标的独特显示或在渲染中进行掩盖。同时,通过结合形态学运算和聚类,设计了自监督循环来解决场景中无监督区域的不正确推断问题。
Aug, 2023
优化 Semantic-NeRF 模型以实现仅有语义输出,并移除 RGB 输出成分,通过对比实验证明这种改动对于场景理解、目标检测和分割等任务的影响,提供了渲染场景的新方式并促进了进一步的研究和发展。
Mar, 2024
提出了一种通用感知 NeRF(GP-NeRF)模型,通过引入 transformers 和自我蒸馏机制,实现了语义场和几何场的联合渲染,以促进具有上下文感知的三维场景理解。在评估中,使用合成和真实世界数据集进行了两个感知任务(即语义和实例分割)的实验比较,取得了显著的优于现有方法的效果。
Nov, 2023
神经辐射场是一种有效的新视点合成和三维场景重建方法。我们提出了一种连续学习框架,通过回放方法结合混合的显式和隐式场景表示来训练神经辐射场,从而在连续设置中优于先前方法的重建质量,并在速度上有数量级的提升。
Sep, 2023
提出了一个新的数据集和简单而有效的方法,即 World Across Time(WAT)数据集和 CLNeRF 方法,用于研究外观和几何随时间连续变化的场景,并使用神经辐射场(NeRFs)的生成回放和 Instant Neural Graphics Primitives(NGP)架构来更新模型。
Aug, 2023
本综述全面研究了语义感知的神经辐射场(NeRFs)在视觉场景理解中的作用,覆盖了 250 多篇学术论文的分析。它探讨了 NeRFs 在场景中熟练推断静态和动态物体的三维表示的能力,并介绍了其在生成高质量新视点、补全场景细节(修复)、进行全面场景分割(全景分割)、预测三维边界框、编辑三维场景和提取以物体为中心的三维模型方面的重要性。本研究的一个重要方面是将语义标签应用为视点不变函数,有效地将空间坐标映射到一系列语义标签的过程,从而便于识别场景中的不同物体。总体而言,本综述强调了在视觉场景解释的背景下,语义感知的神经辐射场的发展和多样应用。
Feb, 2024
本文提出了一个名为 Sem2NeRF 的框架,实现了从单视角语义掩码到 3D 物体模型的转换任务,并采用区域感知学习策略对映射的精度进行改进,其在两个基准数据集上表现优于多个强基线模型。
Mar, 2022
本研究旨在扩展神经辐射场(NeRF)方法,并通过将语义信息与外观和几何信息进行联合编码,实现同时获取精确的 2D 语义标签,而无需使用过多的现场注释数据,该方法通过有效地传播稀疏或嘈杂的标签,在轻松地应用于室内场景标注、超分辨率、标签插值和多视图语义标签融合等多个有趣应用展示了其优越性。
Mar, 2021
本研究提出了一种基于神经辐射场的三维场景风格化方法,采用新的训练方法,交替进行 3D 场景和风格化优化步骤,从而应用更加表现力的图像风格转移方法,生成高质量的具有交叉视角一致性的新视角图片。
Jul, 2022