Feb, 2024

计算机视觉与仿真中的环绕视图鱼眼光学：调查与挑战

PDF
TL;DR本文提供了关于汽车环视鱼眼光学的调查，重点关注光学伪像对自动驾驶和 ADAS 中的计算机视觉任务的影响。通过分析不同的模拟方法，讨论了模拟器对真实光学性能的建模能力（或缺乏）以及汽车鱼眼数据集中的光学像差和模拟鱼眼数据集的限制，突出了计算机视觉和环视光学系统中光学伪像的重要性。
发现论文，激发创造
  • OmniDet：基于全景摄像头的自动驾驶多任务视觉感知网络

    本文提出在未经校正的鱼眼图像上运行的多任务视觉感知网络来加强自动汽车系统的六个主要任务，其中包括深度估计，视觉测距，语义分割，动态分割，目标检测以及镜头污染检测，通过联合训练模型，在 KITTI 数据集上实现深度估计和姿态估计任务的最新结果。

    Feb, 2021

  • SynWoodScape: 自主驾驶用的合成环视鱼眼相机数据集

    本文在 CARLA Simulator 中通过实现 fisheye surround-view 几何投影将 SynWoodScape 数据集扩展，为多项自动驾驶任务提供 80k 图像标注，以解决标准算法无法解决高径向畸变问题的局限性。

    Mar, 2022

  • 使用多摄像头系统的自动驾驶汽车的三维视觉感知：校准，映射，定位和障碍物检测

    本文讨论了多鱼眼相机系统的标定和处理流程，方法可用于自动泊车等应用场景。该流程可以精确标定多相机系统，构建稀疏的三维地图用于视觉导航、车辆定位，并基于实时深度图提取进行精确的物体检测。

    Aug, 2017

  • FisheyeDetNet: 自动驾驶中的鱼眼环视摄像头物体检测

    自动驾驶中的物体检测是一个成熟的问题，但对于用于环视近场感测的鱼眼相机，物体检测相对较少探索。我们设计了旋转边界框、椭圆、通用多边形等表示方式，并提出了实例分割的 mIOU 指标来分析这些表示方式。提出的 FisheyeDetNet 模型使用多边形优于其他方法，在 Valeo 鱼眼环视数据集上达到了 49.5％的 mAP 得分。据我们所知，这是关于自动驾驶场景下鱼眼相机物体检测的首个详细研究。

    Apr, 2024

  • WoodScape：用于自动驾驶的多任务、多摄像头鱼眼数据集

    该研究发布了首个大规模的鱼眼汽车数据集 WoodScape，其中包括四个全景相机和九个任务，为超过 10,000 张图像提供了 40 种类别的语义实例注释以及其他任务的注释超过 100,000 张图像，鼓励社区采用计算机视觉模型进行鱼眼相机而不是使用朴素的矫正方法。

    May, 2019

  • 用于自动驾驶的林景微缩鱼眼物体检测 --CVPR 2022 OmniCV 工作坊挑战赛

    本文介绍了 2022 年 CVPR OmniCV 工作坊上，我们提出的针对鱼眼摄像头目标检测的 WoodScape 比赛，共有来自全球 120 个队伍的 1492 个提交。我们对赢家的方法进行了定性和定量分析，并详细讨论了比赛的细节。

    Jun, 2022

  • 提供合成和真实的鱼眼视频序列的数据集

    本文介绍了一个包含了合成和真实鱼眼图像以及相应的校准数据和测试设置的数据集，以便能够开发和评估适用于鱼眼图像和视频的专门算法。

    Nov, 2022

  • 基于人工智能算法的自动驾驶系统对挡风玻璃引起的光波前像差的敏感性分析

    自动驾驶感知技术基于实际街道数据训练的监督式机器学习模型，然而，在不同车辆类型上部署这些训练模型可能会引起域漂移问题，对神经网络性能造成潜在影响并违反工作中的 ADAS 要求。本文通过评估两个感知模型对不同车窗配置的敏感性来深入研究领域漂移问题，使用傅立叶光学威胁模型应用神经网络基准指标与光学价值函数之间的依赖关系进行评估。结果表明车窗引入了性能差异，而现有的光学指标可能不足以提出要求。

    Aug, 2023

  • 视频压缩失真对鱼眼摄像头视觉感知任务的影响

    通过分析标准视频压缩编解码器对宽视场鱼眼照片的影响，我们提出了一种径向失真感知的区域指标来评估鱼眼照片中的伪影表现，并提出了一种估计最新 VVC 编解码器仿射模式参数的新方法，同时提出了改进视频编解码器在鱼眼图像应用中的一些建议。

    Mar, 2024

  • 利用单鱼眼摄像头进行车辆横向端到端控制

    本文提出了一种新颖的模型，使用一个短程鱼眼摄像头生成数据和标签增强来控制自动驾驶汽车的转向角，我们的模拟器可以用作一致的度量指标来评估端到端控制，实验表明该模型能够在大多数道路情况下实现超过 99％的自主性。

    Aug, 2018