CVPRJul, 2020

在倾斜单目图像中学习地心物体姿态

PDF
TL;DR本研究通过利用深度学习网络预测地物高度和从静态影像中预测光流等方法，开发了一种地心极位姿的编码方法，并训练了一个深度网络来计算该表示方法，并且在航空激光雷达数据的监督下实现了高密度表示，实验表明该方法能 大幅提高物体定位的准确性和从非常不同视角拍摄的多个图像的精确对齐，在斜视卫星图像的语义分割任务中具有较好的应用潜力。
发现论文，激发创造
  • 野外单视图地心姿态

    本研究提出了一种新颖的地球观测方法，通过利用航空 LiDAR 数据对卫星影像进行训练，学习得到高度，姿态等地心位姿信息，并开展仿射不变性实验，实现优于现有方法的性能表现。

    May, 2021

  • 地理监督的视觉深度预测

    利用来自惯性测量的全局方向和对场景内对象形状的偏差，来指导视觉三维重建，通过将得出的先验应用于单张图片深度预测的实验，发现某些类别的物体表面法向量可能趋向于与重力对齐或者垂直于重力，添加此先验在基准方法的基础上可以获得超过现有技术的改进，这展示了重力作为一种监督信号的强大效用。

    Jul, 2018

  • 从姿态中隐式学习场景几何用于全局定位

    通过利用少量的标签数据（即相机姿态），本文提出了一种学习方法，将这些标签与刚性对齐相结合，学习场景的三维几何表示，并将其用于估计相机的六自由度姿态，从而提高了定位的准确性。

    Dec, 2023

  • 基于 RGB-D 图像学习丰富特征的物体检测和分割

    本文研究使用语义丰富的图像和深度特征进行 RGB-D 图像目标检测问题。我们提出了一种新的地心嵌入深度图像的方法，该方法编码了每个像素相对于地面的高度和重力角度，以及水平视差。我们证明了这种地心嵌入方法比使用原始深度图像更适用于使用卷积神经网络进行特征表示学习。最后，我们使用对象检测器的输出在现有的超像素分类框架中进行语义场景分割，并在我们研究的对象类别中实现了 24％的相对改进。

    Jul, 2014

  • 通过点云的监督学习实现 6D 物体姿态回归

    本文提出了一种利用点云深度信息并结合卷积神经网络和几何姿态优化，分别使用旋转和平移回归网络的方法来估算已知 3D 物体的 6 自由度姿态，其中通过旋转轴角表示旋转并使用测地线损失函数进行回归，实验结果在 YCB-video 数据集上明显优于现有方法。

    Jan, 2020

  • 基于关键点几何推理的单目三维物体检测

    本篇研究提出了一种基于关键点的方法，利用单个 RGB 图像进行三维目标检测和定位，该网络基于 2D 关键点检测和几何推理方法，同时估计 2D 特征和全局 3D 姿态，最终在 KITTI 数据集中达到了最好的性能表现。

    May, 2019

  • ObPose：利用姿态进行三维物体中心场景推理

    ObPose 是一个无监督的对象中心推理生成模型，可以从 RGB-D 场景中学习三维结构的潜在表示，并通过将对象位置和外观分开编码来获得卓越的性能。

    Jun, 2022

  • 探索用于单目车辆姿态估计的中间表示

    本文提出了一个新的基于学习的框架，从单个 RGB 图像中恢复车辆的姿态，并通过提取有意义的中间几何表示进行自我定位，其核心问题是选择哪些中间几何表示并学习它们更有效，我们通过设计基于插值的立方体形状的中间几何表示来回答前一个问题，并在一个基于投影不变量的新损失函数基础上融合几何知识来回答后一个问题，实验结果表明我们的系统在 KITTI 基准测试中取得了比以前的基于单 ocular RGB 方法的更好的表现。

    Nov, 2020

  • 使用多视角关键点对应估计单目图像中的物体姿态

    利用物体分类内部几何规律的数据驱动姿态估计方法。首先，从 2D RGB 图像学习物体部分的姿态不变局部描述符。将这些描述符与来自固定３D 模板的关键点结合使用，生成给定单眼实际图像的关键点对应图。最后，使用这些关键点对应图，预测物体的３D 姿态。该方法在多个真实环境的视角估计数据集，如 Pascal3D + 与 ObjectNet3D 上的表现达到最佳水平，并且我们公开了所使用方法的代码以鼓励再生研究。

    Sep, 2018

  • UprightNet：从单张图像中几何感知相机方向估计

    UprightNet 是一种学习方法，通过使用几何推理，从单张室内场景的 RGB 图像中估计相机的 2DoF 方向；该方法中包含了一个神经网络，可以在两个不同的坐标系中预测场景的几何表示，并通过可微的最小二乘模块解决相机定向问题，从而实现了端到端的训练并且在合成和真实数据集上实现了明显的优化。

    Aug, 2019