通过几何约束从单张图片学习预测三维车道形状和相机姿态

AAAIDec, 2021

通过几何约束从单张图片学习预测三维车道形状和相机姿态

Learning to Predict 3D Lane Shape and Camera Pose from a Single Image via Geometry Constraints

Ruijin Liu, Dapeng Chen, Tie Liu, Zhiliang Xiong, Zejian Yuan

TL;DR本研究提出了一种基于两个阶段的框架，通过从单个图像中估计相机姿态来预测 3D 车道，使用辅助的 3D 车道任务和几何约束来获得多任务学习的好处，增强 3D 和 2D 之间的一致性和在这两个任务之间的兼容性，在没有地面真值相机姿态的情况下，我们的方法胜过基于完美相机姿态的最先进方法，并且具有最少的参数和计算量。

Abstract

Detecting 3D lanes from the camera is a rising problem for autonomous vehicles. In this task, the correct camera pose is the key to generating accurate lanes, which can transform an image from perspective-view to the top-view. With this transformation, we can get rid of the perspective effects so that 3D lanes would look similar and can accurately be fitted

3d lanes detection camera pose estimation multi-task learning autonomous vehicles distance-invariant lane appearances

发现论文，激发创造

基于几何结构先验的 BEV 重建三维车道检测方法

本研究提出了一种新的方法来解决通过利用 2D 到 3D 车道重建过程底层的几何结构来摆脱单目 3D 车道检测问题的方法，并使用结构先验来实现从局部到全局的三维车道重建，通过直接从前视图图像中提取 BEV 车道信息和任务特定的数据增强方法来降低 2D 车道表示中的结构损失，提高广义性；实验证明，该方法在 82 FPS 的实时速度下优于现有方法 3.8％的 F-Score。

Jun, 2022

从姿态中隐式学习场景几何用于全局定位

通过利用少量的标签数据（即相机姿态），本文提出了一种学习方法，将这些标签与刚性对齐相结合，学习场景的三维几何表示，并将其用于估计相机的六自由度姿态，从而提高了定位的准确性。

Dec, 2023

从单张图像中重建车辆：道路场景理解的形状先验

该论文提出一种利用单个 RGB 图像重建车辆的方法，通过学习形状先验和使用卷积神经网络技术，恢复车辆的 3D 姿势和形状，同时通过迭代重新加权最小二乘（IRLS）方法对噪声进行建模和优化，以达到在自动驾驶领域中优于现有单眼和立体摄像头方法的结果。

Sep, 2016

Mono3D++：具有两种尺度三维假设和任务先验的单目三维车辆检测

本文提出了一种从单张图像中推断车辆 3D 姿态和形状的方法，采用可塑性线框模型生成车辆形状和姿态的精细尺度表示，并结合三个任务先验，包括无监督单目深度、地平面约束以及车辆形状先验，通过将前向投影误差整合到总能量函数中优化两级投影一致性来解决这个逆问题。

Jan, 2019

AutoShape：实时形状感知单目三维物体检测

该研究提出了一种基于深度神经网络和形态感知的三维目标检测方法，利用二维关键点和对应的三维坐标以及二维 / 三维的几何约束提高检测性能，并在公共数据集 KITTI 上实现了最新的性能。

Aug, 2021

几何姿态可供性：带场景约束的三维人体姿态

通过使用基于视觉的场景几何形状信息，我们提出了一种用于改善人体姿态估计的新颖机制：多层深度图。我们展示了这种方法可以提高 3D 姿态估计的精度。

May, 2019

学习少即是多 - 通过三维表面回归实现六自由度相机定位

本文针对如何从单个 RGB 图像中在给定的 3D 环境中预测 6D 相机姿态这一问题，通过设计并使用一个名为完全卷积神经网络的组件实现了高效、高精度和鲁棒性训练的端到端可训练的管道。令人惊奇的是，网络仅依靠单一视角的约束条件即可自动发现 3D 场景几何，甚至在没有利用场景 3D 模型的情况下，也能比现有技术更优秀。

Nov, 2017

基于 Multi-Task CNN 的概率车辆重建

本研究提出了一种基于概率的方法，使用一种新型多任务 CNN 产生车辆方向、车辆关键点和线框边缘的概率分布，并将这些结果与三维视差信息结合到常见概率框架中，从而达到了最先进的结果。

Feb, 2021

从多视角图像学习单目三维人体姿态估计

本文提出了一种通过多视角的训练，使用一致性约束联合监督损失及惩罚项实现替代大量标注的 3D 人体姿态估计方法，并提出了一种联合估计相机姿态及人体姿态的方法，在 3D 人体姿态估计方面取得了良好的表现。

Mar, 2018

从单张图片学习恢复三维场景形状

研究探讨了在混合数据深度预测训练中使用的位移不变重建损失所引起的未知深度偏移及可能的未知相机焦距问题，并设计了一个两阶段框架以实现单目图像深度预测，并使用三维点云编码器预测遗漏的深度偏移和焦距以恢复逼真的 3D 场景形状，本文提出了图像级标准化回归损失和基于法向几何损失的方法，以增强用混合数据集训练的深度预测模型，该深度模型在 9 个不可见数据集上测试并取得了零样本数据集泛化的最新性能记录。

Dec, 2020