Aug, 2017

FoveaNet: 透视感知的城市场景解析

HTML
PDF
TL;DR基于透视几何的 FoveaNet 模型通过卷积神经网络估算场景图像的透视几何信息来解决因实际场景摄像机的透视投影造成的物体尺度异质性问题，进而提供更稳健的解析结果。同时，引入基于透视几何的密集 CRFs 模型有效解决边界和识别错误。在 Cityspaces 和 CamVid 两个城市场景的解析数据集上验证了 FoveaNet 模型的优越性和最新的性能表现。
发现论文，激发创造
  • 城市景观语义理解数据集

    为解决现有数据集不能很好地捕捉真实城市场景的复杂性，我们引入了Cityscapes——一个基准套件和大规模数据集，用于像素级和实例级语义标注的方法的训练和测试。

    Apr, 2016

  • 增强现实与计算机视觉：城市驾驶场景的高效数据生成

    本研究探讨了结合实际图片和虚拟对象的增量学习方法，通过少量用户交互的方式，将虚拟对象添加到实际图片中，从而提高物体实例分割模型的性能。通过在KITTI 2015和Cityscapes数据集上的实验结果表明，增量学习方法可以显著提高实例分割和物体检测模型的泛化能力。

    Aug, 2017

  • 学习环视物体，以生成室外场景的俯视图表征

    研究了一个新的问题，即从复杂的室外道路场景的透视视图中估计遮挡推理的语义场景布局，提出了一种卷积神经网络方法，根据前景物体（如汽车或行人）周围的信息来预测场景布局的遮挡部分，直接预测遮挡区域的深度和语义能更好地转换成俯视图，模型的训练不需要昂贵或主观的人工标注。

    Mar, 2018

  • Synscapes：用于街景解析的照片级合成数据集

    使用逼真的渲染技术创建的Synscapes合成数据集在街景分割的训练和验证方面展示了最先进的结果，并研究了网络在合成数据上推断时的行为，并分析了现有分割和检测模型，为计算机视觉系统的分析提供了细微的信息。

    Oct, 2018

  • 地面车辆分割中基于高度驱动的注意力网络的提升

    该研究利用城市场景图像的内在特征，提出了一种称为高度驱动注意力网络（HANet）的通用外加模块，用于改进城市场景图像的语义分割，我们验证了所提出网络结构的性能表现，并演示了该模型在Cityscapes数据集上创造了新的最先进性能。

    Mar, 2020

  • 使用几何和语义点云进行鸟瞰图语义分割

    本文介绍了使用车载摄像头拍摄的 RGB 图像进行鸟瞰视角像素级别的物体语义分割的方法，为了解决这个问题，提出了一种新的两阶段感知管道，它明确预测像素深度，并将它们与像素语义结合起来进行有效的推断，同时，使用抽象的高层几何特征进行转移学习，方法能够提高24%的mIoU。

    Jun, 2020

  • 捕获全向分割的全向范围上下文

    本文描述了一种名为ECANets的新型神经网络模型，它能够通过捕获全景图像中内在的长程相关性来对城市环境进行分割，以及该模型的训练策略和评估结果。

    Mar, 2021

  • 透视感知卷积在单目三维物体检测中的应用

    通过结合透视感知卷积层提取更精确和具有上下文意识的特征，将场景线索建模为准确的深度推断，从而提高单目3D目标检测性能。

    Aug, 2023

  • 同心并进：UrbanSyn数据集，合成行车场景的第三位三剑客

    通过半程序生成的合成城市驾驶场景，我们介绍了UrbanSyn数据集，该数据集具有逼真的光线效果。UrbanSyn使用高质量的几何和材料开发，提供了像素级别的地面真实性，包括深度、语义分割和实例分割，并带有物体边界框和遮挡程度。它与GTAV和Synscapes数据集相互补充，形成了我们所定义的“三剑客”。我们展示了“三剑客”在图像语义分割的无监督域适应中的价值。在真实世界的数据集Cityscapes、Mapillary Vistas和BDD100K上的结果建立了新的基准，这主要归功于UrbanSyn。我们将UrbanSyn开放并免费提供（www.urbansyn.org)。

    Dec, 2023

  • RoadFormer+: 通过尺度感知信息解耦和高级异构特征融合实现RGB-X场景解析

    本研究针对现有路况解析模型在处理多种数据源时表现不佳的问题，提出了一种新模型RoadFormer+，能够高效融合RGB及其他类型的数据（如深度、热成像等）。该模型采用混合特征解耦编码器和多尺度异构特征融合块，有效提升了场景解析的准确性，并在多个基准测试中表现出色，且减少了65%的可学习参数。

    Jul, 2024