Feb, 2021

OmniDet：基于全景摄像头的自动驾驶多任务视觉感知网络

PDF
TL;DR本文提出在未经校正的鱼眼图像上运行的多任务视觉感知网络来加强自动汽车系统的六个主要任务，其中包括深度估计，视觉测距，语义分割，动态分割，目标检测以及镜头污染检测，通过联合训练模型，在 KITTI 数据集上实现深度估计和姿态估计任务的最新结果。
surround view fisheye camerasvisual perception networkautonomous driving systemmulti-task modelobject detection
发现论文，激发创造
  • FisheyeDetNet: 自动驾驶中的鱼眼环视摄像头物体检测

    自动驾驶中的物体检测是一个成熟的问题，但对于用于环视近场感测的鱼眼相机，物体检测相对较少探索。我们设计了旋转边界框、椭圆、通用多边形等表示方式，并提出了实例分割的 mIOU 指标来分析这些表示方式。提出的 FisheyeDetNet 模型使用多边形优于其他方法，在 Valeo 鱼眼环视数据集上达到了 49.5％的 mAP 得分。据我们所知，这是关于自动驾驶场景下鱼眼相机物体检测的首个详细研究。

    Apr, 2024

  • 使用多摄像头系统的自动驾驶汽车的三维视觉感知：校准，映射，定位和障碍物检测

    本文讨论了多鱼眼相机系统的标定和处理流程，方法可用于自动泊车等应用场景。该流程可以精确标定多相机系统，构建稀疏的三维地图用于视觉导航、车辆定位，并基于实时深度图提取进行精确的物体检测。

    Aug, 2017

  • SynWoodScape: 自主驾驶用的合成环视鱼眼相机数据集

    本文在 CARLA Simulator 中通过实现 fisheye surround-view 几何投影将 SynWoodScape 数据集扩展，为多项自动驾驶任务提供 80k 图像标注，以解决标准算法无法解决高径向畸变问题的局限性。

    Mar, 2022

  • 计算机视觉与仿真中的环绕视图鱼眼光学：调查与挑战

    本文提供了关于汽车环视鱼眼光学的调查，重点关注光学伪像对自动驾驶和 ADAS 中的计算机视觉任务的影响。通过分析不同的模拟方法，讨论了模拟器对真实光学性能的建模能力（或缺乏）以及汽车鱼眼数据集中的光学像差和模拟鱼眼数据集的限制，突出了计算机视觉和环视光学系统中光学伪像的重要性。

    Feb, 2024

  • 用于自动驾驶的林景微缩鱼眼物体检测 --CVPR 2022 OmniCV 工作坊挑战赛

    本文介绍了 2022 年 CVPR OmniCV 工作坊上，我们提出的针对鱼眼摄像头目标检测的 WoodScape 比赛，共有来自全球 120 个队伍的 1492 个提交。我们对赢家的方法进行了定性和定量分析，并详细讨论了比赛的细节。

    Jun, 2022

  • FisheyeMODNet: 自动驾驶周视摄像头上的移动物体检测

    本研究提出一种卷积神经网络模型，用于使用自主驾驶环境中捕获的鱼眼图像进行运动物体检测，并设计了一个轻量级编码器来实现嵌入式部署。

    Aug, 2019

  • 基于 Fisheye 的林地场景语义分割自动驾驶 ——CVPR2021 OmniCV 研讨会挑战

    本文介绍了 WoodScape 鱼眼语义分割挑战赛，它是 CVPR 2021 奥姆尼方向计算机视觉研讨会的一部分，旨在评估用于鱼眼相机感知的语义分割技术。在挑战赛中，来自世界各地的 71 个团队共提交了 395 份报告，获胜算法取得了比基准更高的平均 IoU 和准确度分数，并分析了失败案例以及未来的研究方向。

    Jul, 2021

  • 鱼眼城市驾驶图像的通用语义分割

    本文提出了一种七自由度的增强方法，将平面图像转化为鱼眼图像，提供了一种通用的解决方案，以改善模型的精度和鲁棒性。该模型适用于不同的鱼眼相机，提供了特定参数设置，并在实际鱼眼图像上取得了令人满意的结果。

    Jan, 2020

  • 鱼眼相机与超声波传感器在鸟瞰图中近场障碍物感知的融合

    基于鱼眼相机和超声波传感器的多模态融合模型，实现了高效障碍物感知，通过 BEV 视角提取特征并融合两种传感器的特征空间，通过两阶段语义占用解码器生成准确的障碍物感知预测。

    Feb, 2024

  • SynDistNet: 自监督单目鱼眼相机与语义分割结合的自动驾驶距离估计

    本研究针对自监督学习方法在鱼眼和针孔相机等复杂投影模型下无法很好地应用于距离估计的问题，提出了一种新的多任务学习策略。通过引入自注意力编码器和用鲁棒的语义特征指导解码器的距离估计网络结构，我们成功地将性能提升了 25％。同时，采用去除超参数调节的广义鲁棒损失函数和语义掩蔽策略来缓解动态物体违反静态世界假设所引起的估计误差。该方法不需要外部尺度估计，并且在 KITTI 数据集和针孔模型上达到了自监督方法的最佳性能水平。

    Aug, 2020