通过创建综合道路类型、天气和光照条件的合成数据集，并使用具有失真感知学习的鱼眼摄像机，将基于 BEV 的语义分割通用化，进一步引入遮挡推理模块，以提高 BEV 空间的性能。

Apr, 2024

本文提出在未经校正的鱼眼图像上运行的多任务视觉感知网络来加强自动汽车系统的六个主要任务，其中包括深度估计，视觉测距，语义分割，动态分割，目标检测以及镜头污染检测，通过联合训练模型，在 KITTI 数据集上实现深度估计和姿态估计任务的最新结果。

Feb, 2021

本文提出一种方法来塑造一个鱼眼特定的表示空间，以反映这种数据模态中存在的畸变和语义上下文之间的相互作用，该方法向模型提供了关于畸变和语义上下文之间相互作用的学习方法，并应用于目标检测任务中，从而在平均精度上实现了 1.1% 的性能提升，并超过了其他现有的表征学习方法 0.6% 的 性能。

Apr, 2023

本文介绍了 WoodScape 鱼眼语义分割挑战赛，它是 CVPR 2021 奥姆尼方向计算机视觉研讨会的一部分，旨在评估用于鱼眼相机感知的语义分割技术。在挑战赛中，来自世界各地的 71 个团队共提交了 395 份报告，获胜算法取得了比基准更高的平均 IoU 和准确度分数，并分析了失败案例以及未来的研究方向。

Jul, 2021

自动驾驶中的物体检测是一个成熟的问题，但对于用于环视近场感测的鱼眼相机，物体检测相对较少探索。我们设计了旋转边界框、椭圆、通用多边形等表示方式，并提出了实例分割的 mIOU 指标来分析这些表示方式。提出的 FisheyeDetNet 模型使用多边形优于其他方法，在 Valeo 鱼眼环视数据集上达到了 49.5％的 mAP 得分。据我们所知，这是关于自动驾驶场景下鱼眼相机物体检测的首个详细研究。

Apr, 2024

本研究主要探讨了在自动驾驶场景中，鱼眼相机的目标检测问题。由于图像边缘的强烈径向失真，标准边界框方法无法很好地处理鱼眼相机的数据。因此，我们提出了一种新的多边形模型，并在比较多种检测方法时使用 IoU 度量来评估多边形模型的性能。通过使用一些先进的方法，包括基于曲率的多边形采样方法，我们设法在误差方面取得了重大进展。我们的方法大大提高了 mIoU 的相对准确度，并可以通过公共数据集进行验证。

Dec, 2020

本研究针对自监督学习方法在鱼眼和针孔相机等复杂投影模型下无法很好地应用于距离估计的问题，提出了一种新的多任务学习策略。通过引入自注意力编码器和用鲁棒的语义特征指导解码器的距离估计网络结构，我们成功地将性能提升了 25％。同时，采用去除超参数调节的广义鲁棒损失函数和语义掩蔽策略来缓解动态物体违反静态世界假设所引起的估计误差。该方法不需要外部尺度估计，并且在 KITTI 数据集和针孔模型上达到了自监督方法的最佳性能水平。

Aug, 2020

本文提出了一种使用环视摄像头进行 360 度道路场景语义分割的方法，该方法使用了 “Restricted Deformable Convolution” 模型来解决鱼眼图像失真的问题，并通过所提出的 “zoom augmentation” 方法，将传统图像转化为鱼眼图像以获得大规模环视图像数据，并将多种不同类型的图像进行了组合，最终证明了该方法可以有效地应用于真实世界中的环视图像，并显示出良好的性能。

Jan, 2018

研究了在自动驾驶汽车中使用的感知方法，发现 FasterSeg 模型在实时低功耗计算设备上运行速度快，并通过比较第一人称和鸟瞰图的准确性和速度，得出 FasterSeg 模型在两种视角的 mIoU 结果并提出了一种生成合成数据的简单方法，并在目标硬件上比较了两种视角的帧率和精度。

Jul, 2022

介绍了针对鱼眼相机照片的新任务 —— 鱼眼语义完成（FSC），以及设计的新算法 FishDreamer。FishDreamer 利用成功的 ViTs，通过一种新颖的极坐标感知交叉注意力模块（PCA）来实现密集背景信息的利用和语义一致性的内容生成，并重视不同的极坐标分布。代码和数据集在该 URL 公开。

Mar, 2023