CVPRMar, 2023

FishDreamer: 通过统一图像修补和分割实现鱼眼语义补全

PDF
TL;DR介绍了针对鱼眼相机照片的新任务 —— 鱼眼语义完成（FSC），以及设计的新算法 FishDreamer。FishDreamer 利用成功的 ViTs，通过一种新颖的极坐标感知交叉注意力模块（PCA）来实现密集背景信息的利用和语义一致性的内容生成，并重视不同的极坐标分布。代码和数据集在该 URL 公开。
fisheye semantic completionblind zonefishdreamervitspolar-aware cross attention
发现论文，激发创造
  • FisheyeEX：极坐标外推算法用于扩展鱼眼镜头视场角

    本文提出了一种采用极坐标补齐以及螺旋失真感知模块的鱼眼图像外推方法 FisheyeEX，它能够有效处理鱼眼镜头成像模型中的无效黑色区域，并且在实验中表现出了很高的性能提升。

    Jun, 2022

  • 鱼眼城市驾驶图像的通用语义分割

    本文提出了一种七自由度的增强方法，将平面图像转化为鱼眼图像，提供了一种通用的解决方案，以改善模型的精度和鲁棒性。该模型适用于不同的鱼眼相机，提供了特定参数设置，并在实际鱼眼图像上取得了令人满意的结果。

    Jan, 2020

  • 基于 Fisheye 的林地场景语义分割自动驾驶 ——CVPR2021 OmniCV 研讨会挑战

    本文介绍了 WoodScape 鱼眼语义分割挑战赛，它是 CVPR 2021 奥姆尼方向计算机视觉研讨会的一部分，旨在评估用于鱼眼相机感知的语义分割技术。在挑战赛中，来自世界各地的 71 个团队共提交了 395 份报告，获胜算法取得了比基准更高的平均 IoU 和准确度分数，并分析了失败案例以及未来的研究方向。

    Jul, 2021

  • DaF-BEVSeg: 镜头畸变感知的鱼眼摄像机鸟瞰图分割与遮挡推理

    通过创建综合道路类型、天气和光照条件的合成数据集，并使用具有失真感知学习的鱼眼摄像机，将基于 BEV 的语义分割通用化，进一步引入遮挡推理模块，以提高 BEV 空间的性能。

    Apr, 2024

  • SynDistNet: 自监督单目鱼眼相机与语义分割结合的自动驾驶距离估计

    本研究针对自监督学习方法在鱼眼和针孔相机等复杂投影模型下无法很好地应用于距离估计的问题，提出了一种新的多任务学习策略。通过引入自注意力编码器和用鲁棒的语义特征指导解码器的距离估计网络结构，我们成功地将性能提升了 25％。同时，采用去除超参数调节的广义鲁棒损失函数和语义掩蔽策略来缓解动态物体违反静态世界假设所引起的估计误差。该方法不需要外部尺度估计，并且在 KITTI 数据集和针孔模型上达到了自监督方法的最佳性能水平。

    Aug, 2020

  • 利用鱼眼数据中的畸变 - 语义交互

    本文提出一种方法来塑造一个鱼眼特定的表示空间，以反映这种数据模态中存在的畸变和语义上下文之间的相互作用，该方法向模型提供了关于畸变和语义上下文之间相互作用的学习方法，并应用于目标检测任务中，从而在平均精度上实现了 1.1% 的性能提升，并超过了其他现有的表征学习方法 0.6% 的 性能。

    Apr, 2023

  • 高效 3DCG 背景创建的多样真实 360 度图像外延技术

    本文提出了基于 Transformers 和 CompletionNets 的自动场景建模方法，使用 WS-perceptual loss 和 circular inference 提升 360 度图像的质量，并在虚拟物体插入场景上取得了具有感知自然性的结果。

    Mar, 2022

  • Dream360: 基于 Transformer 的多样化沉浸式室外虚拟场景创建的 360 图像拓展

    提出了一种基于变换器的 360 图像扩充框架 Dream360，可以从用户选择的视口生成多样、高保真、高分辨率的全景图，考虑了 360 图像的球面特性，并通过两个关键学习阶段（基于 Spherical-VQGAN 的编码本全景扩充和新颖的频率感知细化）实现了更大的扩充灵活性和保真度。

    Jan, 2024

  • OmniDet：基于全景摄像头的自动驾驶多任务视觉感知网络

    本文提出在未经校正的鱼眼图像上运行的多任务视觉感知网络来加强自动汽车系统的六个主要任务，其中包括深度估计，视觉测距，语义分割，动态分割，目标检测以及镜头污染检测，通过联合训练模型，在 KITTI 数据集上实现深度估计和姿态估计任务的最新结果。

    Feb, 2021

  • WoodScape：用于自动驾驶的多任务、多摄像头鱼眼数据集

    该研究发布了首个大规模的鱼眼汽车数据集 WoodScape，其中包括四个全景相机和九个任务，为超过 10,000 张图像提供了 40 种类别的语义实例注释以及其他任务的注释超过 100,000 张图像，鼓励社区采用计算机视觉模型进行鱼眼相机而不是使用朴素的矫正方法。

    May, 2019