Mar, 2024

高效三维实例映射和定位

PDF
TL;DR我们提出了一种新的框架 3DIML，用于从一系列姿态 RGB 图像中学习隐式场景表示，以实现 3D 实例分割，该框架可以有效地学习一个标签场，并且可以在新视角中进行渲染，生成视图一致的实例分割掩码。我们通过对 Replica 和 ScanNet 数据集的序列进行评估，展示了 3DIML 在图像序列的轻度假设下的有效性，相比具有相似质量的现有方法，我们取得了 14-24 倍的加速，展示了它在加快和提高 3D 场景理解方面的潜力。
3d instance segmentationimplicit scene representationneural label fieldinstancemapinstancelift
发现论文，激发创造
  • 神经隐式稠密语义 SLAM

    提出了一种利用神经隐式场表示解决室内场景语义 V-SLAM 问题的在线框架，并通过多项实验表明其在测试时间具有精确的跟踪、地图绘制和语义标注能力，能够扩展到 RGB 图像输入，为机器人视觉感知及相关问题提供了可行的解决方案。

    Apr, 2023

  • HI-SLAM：单目实时稠密建图与混合隐式场

    基于神经场的实时单目建图框架与密集 SLAM 相结合，利用多分辨率网格编码和有符号距离函数表征进行神经场的高效构建，并通过环路闭合和深度先验进行全局一致性和精度增强，从而优于现有方法，在保持实时性能的同时提高了准确度和地图完整性。

    Oct, 2023

  • 快速高效：用于 3D 场景分割的掩模神经场

    通过底层模型的信号转换，快速高效地进行弱监督下的 3D 场景分割。

    Jul, 2024

  • DeepMIF：大规模 LiDAR 3D 地图的深度单调隐式场

    通过使用 LiDAR 传感器进行 3D 环境感知，本文提出了一种基于神经隐式表示和可优化特征网格的学习方法，通过优化非度量单调隐式场，实现了高质量的密集 3D 建图。

    Mar, 2024

  • LISNeRF 绘图：基于语义神经场的大规模三维场景基于 LiDAR 的隐式绘图

    本文提出了一种通过 LiDAR 测量单独重建大规模三维语义场景的新方法，使用隐式表示进行建模。通过浅层多层感知机（MLPs）从隐式特征解码出语义信息和有符号距离值，并采用自监督策略和伪监督策略进行隐式特征和 MLPs 参数的联合优化，最后利用 Marching Cubes 算法对场景进行推断阶段的细分和可视化。与当前最先进的 3D 建图方法相比，我们的框架在三个真实数据集，SemanticKITTI，SemanticPOSS 和 nuScenes 上表现出了很高的效果和效率。

    Nov, 2023

  • 基于神经网络场的几何意识在 3D 人体配准中的应用

    论文提出了两种解决方案：一种是通过预测目标表面上局部 SMPL 顶点的方向来预测模板与 3D 人体点云的对齐问题的新型神经场模型 LoVD；另一种是在测试时利用目标几何信息对骨干进行改进的首个自监督任务 INT。将它们结合成 INLoVD，这是一个在大规模 MoCap 数据集上训练的稳健的 3D 人体注册流水线，高效（不到一分钟）、在公共基准测试中稳定达到最先进水平，并在分布外数据上提供了前所未有的泛化能力。

    Dec, 2023

  • 通过可控局部变形场实现的隐式神经头部合成

    通过基于部件的隐式形状模型，我们设计了一种可以控制 3D 头像的方法，可以推断局部语义 Rig，包括面部特征，通过局部控制丰富了隐式形变字段，使其具有更强的局部控制性能。

    Apr, 2023

  • 神经隐式特征场的自监督学习用于相机姿态细化

    通过在同一度量空间中嵌入图像特征提取器和体积特征场，通过对比框架对齐体积特征与图像特征并利用学习的表面信息对后者进行正则化，本文提出了一种联合学习场景表示、体积渲染和特征场设计的方法，用于视觉定位，并在真实场景中验证了该方法的有效性。

    Jun, 2024

  • 神经场上的 3D 概念基础

    本文提出了一种利用神经场进行三维概念定位、分割和学习的方法，并通过问题回答来实现可微分的模型训练，实现了在语义和实例分割、三维视觉推理任务中的性能提升。

    Jul, 2022

  • GNeSF：泛化的神经语义场

    基于神经隐式表示的 3D 场景分割方法，通过多视图图像特征和语义地图作为输入，采用软投票机制来聚合来自不同视图的二维语义信息，结合视角差异信息预测投票分数，通过可见性模块筛选掉遮挡视图的有害信息，在只有二维语义监督的情况下，能够综合合成语义地图或进行新场景的三维语义分割。

    Oct, 2023