Mar, 2024

SAID-NeRF：透明物体的分割辅助 NeRF 深度补全

HTML
PDF
TL;DR使用Visual Foundation Models（VFMs）以零样本、无标签的方式，通过同时重建语义场和增强模型来指导NeRF重建过程，从而获取透明物体的准确深度信息。我们的方法SAID-NeRF在透明物体深度完成数据集和机器人抓取方面展现了显著的性能。
发现论文，激发创造
  • 单目视频下动态场景的非刚性神经辐射场重建和新视角合成

    该论文提出了一种新的非刚性动态场景重建和新视角合成方法——NR-NeRF，该方法能够使用一个便携式消费级相机拍摄到的动态场景的 RGB 图像创建高质量的时空几何和外观表示，并且可以生成复杂的渲染场景。

    Dec, 2020

  • 深度监督下的 NeRF：更少的视角和更快的训练

    通过引入深度监督机制，结合 SFM（结构光运动）得到的“自由”深度监督信息，在学习 Radiance Fields 的过程中对射线的结束点进行分布的损失函数，并且证明这种监督方式简单有效，可以使得渲染图像更加精准，支持其它类型的深度监督。

    Jul, 2021

  • Dex-NeRF：使用神经辐射场感知透明物体

    利用神经光辐射场技术检测、定位并推断透明物体的几何形状，结合光源的设置和透射率感知的深度渲染，实现了透明物体的稳定夹取，其成功率分别达到了90%和100%。

    Oct, 2021

  • 从稀疏的输入视图推断神经辐射场的密集深度先验

    本文提出了一种利用深度先验来优化神经光辐射场模型的新方法，可在使用尽可能少的输入图像进行室内场景的数据有效的新视角合成中实现高保真度。

    Dec, 2021

  • OR-NeRF：由多视角分割指导的神经辐射场，用于删除 3D 场景中的对象

    本文提出了一种名为OR-NeRF的新型对象移除流水线，它可以在单个视图上通过点或文本提示从3D场景中移除对象，并在更短的时间内实现更好的性能。

    May, 2023

  • Obj-NeRF: 从多视图图像中提取物体 NeRF

    本研究提出了Obj-NeRF，一种综合管道，通过使用一个单一的提示从多视图图像中恢复特定对象的3D几何形状。该方法结合了Segment Anything Model（SAM）的2D分割能力和NeRF的3D重建能力，并应用了几种有效技术。此外，研究还构建了一个包含多样化对象的大规模对象级NeRF数据集，可在各种下游任务中发挥作用。为了证明我们的方法的实用性，我们还将Obj-NeRF应用于包括对象去除、旋转、替换和重新上色在内的各种应用。

    Nov, 2023

  • 去除神经辐射场中的深度先验

    该论文研究了如何通过集成单目深度估计方法与NeRF模型，来显著降低时间消耗、提高场景生成和物体去除的鲁棒性和质量，并结合KITTI数据集验证了该方法的有效性。

    May, 2024

  • Residual-NeRF: 学习透明物体操作的残差NeRFs

    通过提出一种名为Residual-NeRF的方法，能够改善不透明物体的深度感知和训练速度，该方法通过学习场景的背景NeRF并结合背景和残差NeRFs进行推断，提供了综合性和真实性实验证明Residual-NeRF能够改善透明物体的深度感知。

    May, 2024

  • 通过稀疏视角中的深度和法线完成先验增强神经辐射场

    通过添加深度和法线的稠密完成先验方法，我们提出了一种用于NeRF的Depth and Normal Dense Completion Priors (CP_NeRF)框架，该框架能够改善视图渲染的准确性，并在渲染NeRF的法线输出时综合了光学中心位置嵌入器和法线匹配技术，以提供更准确的模型监督。

    Jul, 2024

  • DiscoNeRF：无类别对象场用于3D对象发现

    本研究解决了NeRF在3D场景建模中难以进行语义分割的问题。提出了一种稳健的方法，通过对抗竞争对象槽来匹配掩膜，从而有效分解场景，生成高质量的3D全景分割。这一方法展示了在复杂场景中提取3D资产的能力，具有广泛的应用潜力。

    Aug, 2024