NeRF-RPN: 基于 NeRF 的目标检测通用框架
本文介绍一种新的维度分解区域提议网络 (DeRPN),采用 anchor string 机制独立匹配物体的宽度和高度,适用于不同形状物体,针对不同比例物体的不平衡损失计算,设计了新颖的尺度敏感损失函数。在多个数据集测试中,DeRPN 相较传统 RPN 方法具有更好的性能和适应性,且不需要调整超参数或专门优化。
Nov, 2018
NeRF-Det 是一种新颖的室内 3D 检测方法,利用 RGB 图像作为输入,并通过使用 NeRF 来明确估计 3D 几何,从而提高 3D 检测性能,并通过共享 MLP 巧妙地将检测分支与 NeRF 分支相连接,使 NeRF 在检测中高效适应,并为 3D 检测提供了具有几何感知的体积表示。
Jul, 2023
通过在 NeRF 框架中使用单目 3D 重建技术、姿态估计和物体中心化的 NeRF 等方法,本文提出了 UPNeRF 一种统一框架,可以实时地进行单目三维物体重建,并且在 nuScenes、KITTI 和 Waymo 数据集上取得了具有最先进的重建和姿态估计结果,缩小了旋转和平移误差达 50%。
Mar, 2024
提出了一种通用感知 NeRF(GP-NeRF)模型,通过引入 transformers 和自我蒸馏机制,实现了语义场和几何场的联合渲染,以促进具有上下文感知的三维场景理解。在评估中,使用合成和真实世界数据集进行了两个感知任务(即语义和实例分割)的实验比较,取得了显著的优于现有方法的效果。
Nov, 2023
VoxelNet 是一种针对点云图像检测的深度网络,可以将点云分割成等间距的三维体素,并通过新引入的体素特征编码层将每组点转换为统一的特征表示,从而生成描述性的体积表示,并连接 RPN 以生成检测。
Nov, 2017
本文介绍了一种基于雷达的实时区域提案算法(RRPN),用于自动驾驶车辆中的物体检测,通过将雷达检测映射到图像坐标系并为每个映射雷达检测点生成预定义的锚定框来生成物体提案。相比于现有算法,RRPN 操作更快且能够获得更高的检测精度和召回率。
May, 2019
本文提出一种完全卷积的区域提议网络(RPN),在同时预测目标边界和目标特征分数的同时,使用完全图像卷积特征共享检测网络的特征。
Jun, 2015
本文提出了一种基于多视角 RGB 的 6 自由度预抓取检测网络 GraspNeRF,利用可转换的神经辐射场(NeRF)实现材料无关的物体预抓取,在杂乱的环境下可实时检测出 6 自由度的抓取,实验结果表明该方法在合成和真实环境中表现优异。
Oct, 2022
本研究提出了 Obj-NeRF,一种综合管道,通过使用一个单一的提示从多视图图像中恢复特定对象的 3D 几何形状。该方法结合了 Segment Anything Model(SAM)的 2D 分割能力和 NeRF 的 3D 重建能力,并应用了几种有效技术。此外,研究还构建了一个包含多样化对象的大规模对象级 NeRF 数据集,可在各种下游任务中发挥作用。为了证明我们的方法的实用性,我们还将 Obj-NeRF 应用于包括对象去除、旋转、替换和重新上色在内的各种应用。
Nov, 2023
基于 NeRF 和多视角信息融合,提出了一个新的 3D 感知网络结构 NeRF-DetS,实现了在室内多视图 3D 物体检测方面的大幅提升。
Apr, 2024