Apr, 2017

SfM-Net: 从视频中学习结构和运动

PDF
TL;DR本文提出了一种几何感知的神经网络 SfM-Net，可用于视频中的运动估计，通过分解场景和物体深度、相机运动、3D 物体旋转和平移来处理像素运动，该模型可通过不同程度的监督训练，包括自监督、相机运动监督和深度监督，成功地估计出帧间相机旋转和平移，并对运动物体进行了有效地分割。
sfm-netmotion estimationneural networkdepth estimationobject segmentation
发现论文，激发创造
  • 深度二视图结构运动再探讨

    本研究使用光流、姿态估计和深度估计网络，实现了相对摄像机位姿和深度图的两视角结构运动重建，表现明显优于现有的同类方法。

    Apr, 2021

  • 利用图注意网络学习运动结构

    该论文通过使用图注意力网络解决学习结构运动（Structure-from-Motion）的问题，通过学习模型以 2D 关键点为输入，输出对应的相机姿态和 3D 关键点坐标，实现了快速推理和重建，超过了竞争的基于学习的方法并在较短的时间内挑战了 COLMAP。

    Aug, 2023

  • 结构光中的语义验证

    本文探讨将语义分割技术整合进 Structure from Motion (SfM) 中，通过利用卷积神经网络对输入图像进行像素标记，进而应用于 3D 点云的估算，并比较标记语义的关键点。在一个重复建筑场景的数据集上进行了验证，提出了一种改进 3D SfM 模型的新方法。

    Apr, 2023

  • 基于视觉几何的深度结构运动

    我们提出了一种新的深度管道 VGGSfM，其中每个组件都是完全可微的，因此可以进行端到端的训练，通过引入新的机制和简化，我们在三个流行的数据集 CO3D，IMC Phototourism 和 ETH3D 上实现了最先进的性能。

    Dec, 2023

  • 结构运动测量概述

    本文主要介绍计算机视觉中的结构从运动问题，包括相机运动估计和三维结构恢复等关键技术，以及相关应用，如同时定位和地图构建（SLAM），特征提取和匹配等。

    Jan, 2017

  • Level-S$^2$fM: 基于神经隐式面积边界的运动结构恢复

    本文提出了一种神经增量结构运动（SfM）方法 Level-S $ ^ 2 $ fM，通过从建立的关键点对应关系中学习坐标 MLPs 来估计相机姿态和场景几何。

    Nov, 2022

  • 每个像素都很重要：利用整体三维运动理解进行无监督几何学习

    本文通过在未标记视频上观看，利用深度卷积神经网络来学习单张图像的三维几何估计，通过将像素水平的三维物体运动加入到学习框架中，提供了整体的三维场景流理解并有助于单张图像的几何估计。

    Jun, 2018

  • Mono-SF: 多视角几何结合单视角深度用于动态交通场景单目场景流估计

    本文提出了一种称为 Mono-SF 的新型单目 3D 场景流估计方法，将多视角几何和单视深度信息相结合，使用统计方式的卷积神经网络 ProbDepthNet 来整合单视深度估计，并通过回校准技术提高估计深度的准确性。实验证明 Mono-SF 具有优于现有单目基线的性能，对 Mono-SF 方法和 ProbDepthNet 设计的削弱研究成果支持该方法。

    Aug, 2019

  • DeepSFM: 通过深度束调整实现结构运动

    本研究设计了一种以物理驱动的 DeepSFM 体系结构，对深度和姿态进行估计，在显式结构约束和深度学习技术的共同作用下，实现了与传统 BA 和新兴深度学习技术的优点相结合的分离拍摄下位姿和深度估计

    Dec, 2019

  • DeMoN: 用于学习单目立体视觉深度和运动的深度和运动网络

    该论文将运动结构问题建模为学习问题，使用卷积网络端到端地训练连续、无约束图像对的深度和相机运动，采用多层叠加的编码器 - 解码器网络。与传统的两帧结构运动方法相比，结果更加精确、更强韧。

    Dec, 2016