Apr, 2024

大规模场景中单目相机的深度、位姿和隐式场景表示的增量联合学习

PDF
TL;DR我们提出了一种增量联合学习框架，通过采用基于视觉变换器的网络作为主干来实现准确的深度、姿态估计和大规模场景重建，并构建了增量场景表示方法以增强三维场景表示的可伸缩性。
发现论文，激发创造
  • 从非姿态图像中学习鲁棒的多尺度神经辐射场表示

    提出了一种改进的神经图像渲染问题的解决方案，通过从不同分辨率的图像中恢复准确的相机参数并利用多尺度神经场网络进行绝对相机姿态估计，该方法实现了从不同视角合成逼真的场景图像。

    Nov, 2023

  • 在线互操作姿态优化协同大规模稠密三维重建

    本论文利用实时全局一致的重建系统和新的视觉惯性里程计方法，结合高质量的基于回归森林的定位方法，实现了第一款允许多用户合作使用普通硬件在半小时内重建整个建筑的系统。

    Jan, 2018

  • 基于单目摄像机和单线激光雷达的大规模场景弱监督三维多人姿态估计

    本文提出了一种基于单目摄像头和单个 LiDAR 的方法，用于大规模场景下的 3D 多人姿态估计。通过设计一种有效的多模态融合策略，并充分利用时间信息来指导网络学习自然和连贯的人类运动，以点云的固有几何约束为自我监督，用图像上的 2D 特征点进行弱监督，无需依赖于任何 3D 姿态注释。实验结果表明了该方法的优越性和泛化能力。

    Nov, 2022

  • 大规模光度捆绑调整

    本文提出一个通过联合光度优化密集几何和摄像机参数，用于 3D 重建的框架，使其比特征点 bundle 调整更具指标重建精度，该框架可以应用于大规模的数据集，并且在面对不同的光照和相机内参时有更好的表现。

    Aug, 2020

  • 朝着更好的泛化：无需使用 PoseNet 的联合深度和姿态学习

    通过解决自监督联合深度姿态学习中的比例不一致问题，我们提出了一种新颖的系统，利用了三角化模块来恢复比例到三维结构，并使用变换后的深度图对深度误差进行计算和复制 Projection Check 。

    Apr, 2020

  • 基于神经渲染的自动驾驶城市场景重建

    利用多模态数据结合深度学习模型进行密集三维重建，从而提高自动驾驶中的标注验证、数据扩充、缺失 LiDAR 系统的地面真值注释以及自动标记准确性的应用效果。

    Feb, 2024

  • FrozenRecon：基于冻结深度模型的无姿态三维场景重建

    我们提出了一种新的测试时间优化方法，可以将仿射不变深度模型的健壮性转移到具有挑战性的多样化场景，同时确保帧间一致性，每个视频帧只需优化几十个参数。实验证明，我们的方法在五个零样本测试数据集上实现了最先进的跨数据集重建。

    Aug, 2023

  • 实现可伸缩的几何和材料多视角重建

    本文提出了一种新方法，通过使用点光源的移动手持捕捉系统，联合恢复无法被固定采集设备捕获的超物体尺度的三维场景的相机姿势，对象几何和空间变化双向反射分布函数，并引入分布式优化算法进行重构

    Jun, 2023

  • 从姿态中隐式学习场景几何用于全局定位

    通过利用少量的标签数据（即相机姿态），本文提出了一种学习方法，将这些标签与刚性对齐相结合，学习场景的三维几何表示，并将其用于估计相机的六自由度姿态，从而提高了定位的准确性。

    Dec, 2023

  • 可扩展的三维对象为中心学习的变异推断

    我们提出了一种可伸缩的无监督面向对象中心的 3D 场景表示学习方法，通过学习在局部对象坐标系统中视角不变的 3D 对象表示，从而推断和维护 3D 场景的对象中心表示，并优于以前的模型。

    Sep, 2023