城市街景的实时高性能语义图像分割

Mar, 2020

城市街景的实时高性能语义图像分割

Real-Time High-Performance Semantic Image Segmentation of Urban Street Scenes

Genshun Dong, Yan Yan, Chunhua Shen, Hanzi Wang

TL;DR本文提出了一种用于城市街景的语义分割的高性能深卷积神经网络方法，它实现了精度和速度之间的良好权衡，并展示了在实时速度下使用单个 NVIDIA TITAN X 卡片在具有挑战性的 Cityscapes 和 CamVid 测试数据集上分别实现了 73.6％和 68.0％的 mIoU 精度。

Abstract

deep convolutional neural networks (DCNNs) have recently shown outstanding performance in semantic image segmentation. However, state-of-the-art DCNN-based semantic segmentation methods usually suffer from high c

deep convolutional neural networks high-performance semantic segmentation real-time processing urban street scenes

发现论文，激发创造

用于实时准确地对道路场景进行语义分割的深度双分辨率网络

提出了一组高效的卷积神经网络骨干架构，通过双分辨率融合和深度上下文聚合金字塔池化模块，实现了在 Cityscapes 和 CamVid 数据集上的优于现有模型的精度和速度的实时语义分割。

Jan, 2021

DeepLab：通过深度卷积网络，空洞卷积和全连接 CRF 进行语义图像分割

本文提出了一种利用 Deep Learning 完成语义图像分割的方法，通过引入 atrous convolution 以及 atrous spatial pyramid pooling 来解决对象掩模问题，并结合 max-pooling 和 downsampling 与全连接条件随机场（CRF）来提高对象边界的定位准确性，在 PASCAL VOC-2012 等数据集上全面超越了以往的成果。

Jun, 2016

DFANet: 深度特征聚合实时语义分割

本文提出了一种名为 DFANet 的极其高效的卷积神经网络架构，用于在资源有限的情况下进行语义分割。通过子网络和子阶段级联聚合区分特征，通过多尺度特征传播，DFANet 大大减少了参数数量，并提高了模型学习能力，在速度和分割性能之间取得平衡。在 Cityscapes 和 CamVid 数据集上的实验证明了 DFANet 具有比现有最先进的实时语义分割方法快 2 倍，FLOPs 少 8 倍的卓越性能，同时提供可比较的准确性。具体而言，它在 Cityscapes 测试数据集上实现了 70.3％的 IOU 平均值，仅使用 1.7 GFLOPs，并在一张 NVIDIA Titan X 卡上以 160 FPS 的速度进行推断，在更高分辨率图像上推断时，实现了 71.3％的 IOU 平均值和 3.4 GFLOPs。

Apr, 2019

深度卷积网络与全连接 CRF 的语义图像分割

该研究论文结合深度卷积神经网络和概率图模型的方法来解决像素级分类（语义图像分割）任务中深层网络往往无法精确定位目标分割的问题，并通过将深层网络的响应与全连接条件随机场相结合，提出了一种 DeepLab 系统。定量实验表明，该方法在 PASCAL VOC-2012 语义图像分割任务中，IOU 精度可达 71.6％。

Dec, 2014

快速注意力实时语义分割

该论文提出一种新的 CNN 模型结构和快速空间注意力机制，能够在实时高分辨率图像和视频上进行语义分割，同时实现更好的准确性和速度。在 Cityscapes 数据集中，该模型在单个 Titan X GPU 上实现了 74.4％ mIoU 的 72 FPS 和 75.5％ mIoU 的 58 FPS，比现有方法快约 50％，并保持相同的准确性。

Jul, 2020

ASAP：高准确度实时语义分割

本文提出使用 Feature Fusion with Different Norms (FFDN)，利用多重尺度的丰富全局上下文信息和垂直池化模块来减少在垂直方向上全局上下文编码的复杂度。在城市风景测试数据集上，平均交互并集（mIoU）为 73.1，每秒帧数（FPS）为 191，与目前最先进的结果相当。

Oct, 2022

多模态和多尺度深度网络在地球观测数据的语义分割中的应用

本文研究了使用深度完全卷积神经网络（DFCNN）对地观测图像进行像素级场景标记。作者使用了变种的 SegNet 架构对城市区域的遥感数据进行训练，并研究了不同的准确语义分割方法。作者提出以下贡献：1）作者有效地将 DFCNN 从常规日常图像转移到遥感图像领域；2）作者引入了一个多核卷积层以便于对多个尺度上的预测进行快速聚合；3）作者使用残差校正对异构传感器（光学和激光）的数据进行融合。所提出的方法在 ISPRS Vaihingen 2D 语义标记数据集上改进了现有技术的准确率。

Sep, 2016

用于语义分割的融合注意力网络，在极高分辨率遥感图像中的应用

本文提出了一种多路径编码器结构来提取多路径输入的特征，多路径注意力融合块模块来融合多路径特征，以及细化注意力融合块模块来融合高层抽象特征和低层空间特征。同时，提出了一种新的卷积神经网络架构，名为注意力融合网络 (AFNet)。基于该 AFNet，在 ISPRS Vaihingen 2D 数据集上达到了 91.7% 的整体精度和 90.96% 的平均 F1 分数，在 ISPRS Potsdam 2D 数据集上达到了 92.1% 的整体精度和 93.44% 的平均 F1 分数，取得了最先进的性能。

May, 2021

基于空间融合网络的实时语义分割

本文提出了一种高效的 CNN 方法 ——MSFNet，它利用类边界监督和多特征融合模块来实现实时语义分割，并在 Cityscapes 和 Camvid 数据集上得到了比现有方法更好的结果。

Nov, 2019

Fast-SCNN: 快速语义分割网络

本文介绍了一种快速分割卷积神经网络（Fast-SCNN），它是一种高分辨率图像数据（1024x2048px）的半实时语义分割模型，适用于在低内存嵌入式设备上进行高效计算。该网络通过在多个分辨率分支上同时计算低级特征和高级特征，实现了高分辨率的空间细节与更低分辨率下提取的深度特征的结合，并在 Cityscapes 数据集上以每秒 123.5 帧的速度获得了 68.0％的平均交并比准确率。实验证明，预先培训规模的大规模预处理是不必要的。

Feb, 2019