YUVMultiNet：用于自动驾驶的实时 YUV 多任务卷积神经网络

CVPRApr, 2019

YUVMultiNet：用于自动驾驶的实时 YUV 多任务卷积神经网络

YUVMultiNet: Real-time YUV multi-task CNN for autonomous driving

Thomas Boulay, Said El-Hachimi, Mani Kumar Surisetti, Pullarao Maddu, Saranya Kandan

TL;DR本文提出了一种多任务卷积神经网络 (CNN) 体系结构，旨在为低功率汽车级 SoC 进行优化，其中编码器在检测和分割两个任务之间共享，介绍了多种优化方法，如直接使用本地 YUV 图像、优化层和特征图以及应用量化等，并重点关注了内存带宽和卷积等数据密集型操作之间的瓶颈问题。最终，我们演示了我们所提出的网络在相应运行时中为检测和分割任务提供的关键性能指标 (KPI)。

Abstract

In this paper, we propose a multi-task convolutional neural network (CNN) architecture optimized for a low power automotive grade SoC. We introduce a network based on a unified architecture where the encoder is shared among the two tasks namely detection and →

multi-task cnn low-power soc detection segmentation optimization

发现论文，激发创造

自动驾驶的实时联合目标检测和语义分割网络

本论文提出了一种联合多任务网络设计，用于同时学习目标检测和语义分割，以实现低功耗嵌入式 SOC 上的实时性能，并在两个公共数据集（KITTI，Cityscapes）和私人鱼眼相机数据集中评估提出的网络。

Jan, 2019

自主车辆感知的检测分割卷积神经网络

通过对三种不同的网络体系结构进行实验，我们证明了多任务 V3 对于物体检测和区域分割的性能最佳，可在自动驾驶车辆的嵌入式感知系统中具有实用性。

Jun, 2023

RoadNet-RT: 实时道路分割的高通量 CNN 架构和 SoC 设计

本文提出了一种基于 CNN 网络的轻量级、高吞吐量的 RoadNet-RT 架构，通过深入优化硬件设计和使用分离深度卷积和非均匀核大小卷积等技术，显著提高了道路分割的实时处理速度。相较于现有最先进的网络，在仅仅 6.2% 的精度损失下，RoadNet-RT 的速度提升了 20 倍。该 CNN 架构在 FPGA ZCU102 MPSoC 平台实现，计算能力达到 83.05 GOPS，每秒处理 327.9 帧大小为 1216x176 的图像。

Jun, 2020

MultiNet: 自主驾驶实时联合语义推理

本文提出了一种联合分类、检测和语义分割的方法，其中编码器在三个任务之间共享。该方法非常简单，可以端到端训练，在具有挑战性的 KITTI 数据集中表现良好，在道路分割任务中优于现有技术。而且，我们的方法非常高效，执行所有任务只需要不到 100 毫秒。

Dec, 2016

自动驾驶快速场景理解

本文提出一种基于 ENet 的实时高效实现，可以同时解决语义场景分割、实例分割和单目深度估计三个自动驾驶相关任务，不会因同时运行多个任务而牺牲准确性。

Aug, 2017

为实时道路图像语义分割辩护：基于预训练 ImageNet 架构

本文提出了一种基于 light-weight general purpose architecture、light-weight upsampling 以及融合多重分辨率的特征来扩大接受域的语义分割方法，在多个数据集上获得显着的优越性能和较高的 MIoU 和帧率。

Mar, 2019

实时通用多任务的一次全部观察

自主驾驶的关键要求是高精度、轻量化和实时响应，本文提出了一种自适应、实时和轻量化的多任务模型，能够同时处理目标检测、行驶区域分割和车道检测任务，并且无需特定定制结构或损失函数。该模型在 BDD100k 数据集上取得了竞争性的结果，尤其在可视化输出方面。此外，通过引入真实道路数据集评估了模型在真实场景中的性能，表现出超出竞争对手的优越性能，证明了模型不仅具备竞争性能，而且更加灵活快速。

Oct, 2023

SYENet：一款适用于移动设备的多个低级视觉任务的简单而有效的网络，具有实时性能

通过提出仅具有约 6K 参数的新型网络 SYENet，以应对移动设备上的多个低级别视觉任务，在实时方式下实现了最佳 PSNR，并在 Image Signal Processing（ISP），Low-Light Enhancement（LLE）和 Super-Resolution（SR）等应用中获得了 MAI 2022 学习型智能手机 ISP 挑战的最高分数。

Aug, 2023

UberNet: 使用多样化数据集和有限内存训练 “通用” 的卷积神经网络，以进行低、中、高层次的视觉处理

本文介绍了一种卷积神经网络，在统一体系结构中同时处理低阶，中阶和高阶视觉任务，其通过端到端训练，为视觉任务提供了通用解决方案，同时解决了训练深度架构时依赖不同训练集和训练多个任务时内存有限的问题，通过这些方法在单个 GPU 上每帧 0.7 秒地同时处理多项任务，其中包括边界检测，正常估计，显著性预测，语义分割，人体部分分割，语义边界检测，区域建议生成和物体检测等，同时保证了高准确率。

Sep, 2016

驾驶场景感知网络：实时联合检测、深度估计和语义分割

本文提出一种名为 DSPNet 的模型，利用共享卷积架构实现在单张图片中同时进行物体检测、深度估计和像素级语义分割，达到了较高的精度和效率，适用于自动驾驶等领域。

Mar, 2018