RoadNet-RT: 实时道路分割的高通量 CNN 架构和 SoC 设计

Jun, 2020

RoadNet-RT: 实时道路分割的高通量 CNN 架构和 SoC 设计

RoadNet-RT: High Throughput CNN Architecture and SoC Design for Real-Time Road Segmentation

Lin Bai, Yecheng Lyu, Xinming Huang

TL;DR本文提出了一种基于 CNN 网络的轻量级、高吞吐量的 RoadNet-RT 架构，通过深入优化硬件设计和使用分离深度卷积和非均匀核大小卷积等技术，显著提高了道路分割的实时处理速度。相较于现有最先进的网络，在仅仅 6.2% 的精度损失下，RoadNet-RT 的速度提升了 20 倍。该 CNN 架构在 FPGA ZCU102 MPSoC 平台实现，计算能力达到 83.05 GOPS，每秒处理 327.9 帧大小为 1216x176 的图像。

Abstract

In recent years, convolutional neural network has gained popularity in many engineering applications especially for computer vision. In order to achieve better performance, often more complex structures and advanced operations are incorporated into the neural networks, which results ve

convolutional neural network real-time processing cnn architecture road segmentation hardware optimization

发现论文，激发创造

为实时道路图像语义分割辩护：基于预训练 ImageNet 架构

本文提出了一种基于 light-weight general purpose architecture、light-weight upsampling 以及融合多重分辨率的特征来扩大接受域的语义分割方法，在多个数据集上获得显着的优越性能和较高的 MIoU 和帧率。

Mar, 2019

RT-K-Net：重新审视 K-Net 实现实时全景分割

本文提出了新的改进 K-Net 结构的方法，以实现实时全景分割，达到了 60.2% 的最新性能表现。

May, 2023

YUVMultiNet：用于自动驾驶的实时 YUV 多任务卷积神经网络

本文提出了一种多任务卷积神经网络 (CNN) 体系结构，旨在为低功率汽车级 SoC 进行优化，其中编码器在检测和分割两个任务之间共享，介绍了多种优化方法，如直接使用本地 YUV 图像、优化层和特征图以及应用量化等，并重点关注了内存带宽和卷积等数据密集型操作之间的瓶颈问题。最终，我们演示了我们所提出的网络在相应运行时中为检测和分割任务提供的关键性能指标 (KPI)。

Apr, 2019

用于实时准确地对道路场景进行语义分割的深度双分辨率网络

提出了一组高效的卷积神经网络骨干架构，通过双分辨率融合和深度上下文聚合金字塔池化模块，实现了在 Cityscapes 和 CamVid 数据集上的优于现有模型的精度和速度的实时语义分割。

Jan, 2021

城市街景的实时高性能语义图像分割

本文提出了一种用于城市街景的语义分割的高性能深卷积神经网络方法，它实现了精度和速度之间的良好权衡，并展示了在实时速度下使用单个 NVIDIA TITAN X 卡片在具有挑战性的 Cityscapes 和 CamVid 测试数据集上分别实现了 73.6％和 68.0％的 mIoU 精度。

Mar, 2020

基于 FPGA 的 LiDAR 数据处理实现实时道路分割

本研究提出了一种基于 FPGA 的卷积神经网络 (CNN) 设计，用于实时处理激光雷达数据的道路分割算法。通过在 LiDAR 传感器数据上训练神经网络模型，本文实现了高效的硬件设计，并成功实现每个 LiDAR 扫描的实时处理，实现了道路分割的高精度。

Nov, 2017

驾驶场景感知网络：实时联合检测、深度估计和语义分割

本文提出一种名为 DSPNet 的模型，利用共享卷积架构实现在单张图片中同时进行物体检测、深度估计和像素级语义分割，达到了较高的精度和效率，适用于自动驾驶等领域。

Mar, 2018

Fast-SCNN: 快速语义分割网络

本文介绍了一种快速分割卷积神经网络（Fast-SCNN），它是一种高分辨率图像数据（1024x2048px）的半实时语义分割模型，适用于在低内存嵌入式设备上进行高效计算。该网络通过在多个分辨率分支上同时计算低级特征和高级特征，实现了高分辨率的空间细节与更低分辨率下提取的深度特征的结合，并在 Cityscapes 数据集上以每秒 123.5 帧的速度获得了 68.0％的平均交并比准确率。实验证明，预先培训规模的大规模预处理是不必要的。

Feb, 2019

ContextNet：探索上下文及细节用于实时语义分割

ContextNet 提出了一种新的深度神经网络架构，利用分解卷积、网络压缩和金字塔表示等技术，实现了高效的全局上下文信息提取和高分辨率分割细节捕捉，从而在保持精度的前提下，降低了内存需求，实现了具备实时性和低存储成本的语义分割。

May, 2018

ICNet 用于高分辨率图像的实时语义分割

本文提出了一种基于图像级联网络 (ICNet) 的实时语义分割方法，通过多分辨率分支和级联特征融合单元，以及恰当的标签引导来降低像素级标签推断的计算量，从而实现对挑战性数据集（如 Cityscapes，CamVid 和 COCO-Stuff）的高质量实时分割。

Apr, 2017