Dec, 2019

标签传播与细化的高效视频语义分割

PDF
TL;DR本文提出了一种高清视频实时语义分割的混合 GPU / CPU 方法，并给出了一种称之为 EVS 的管道，该管道结合了 CPU 和 GPU 两种不同的处理方式，以优化视频帧率和分割准确度。
real-time semantic segmentationhybrid gpu/cpu approachefficient video segmentationconvolutional neural networkstemporal optical flow
发现论文，激发创造
  • 通过视频传播和标签弛豫来改进语义分割

    通过视频预测方法合成新的训练样本并引入边界标签松弛技术，使模型对标注噪声和传播伪影更加鲁棒，实现在 Cityscapes 数据集上 83.5%、CamVid 上 82.9% 的 mIoUs 并在 KITTI 语义分割测试集上取得 72.8% 的 mIoU，超过 ROB 挑战 2018 年的获奖模型。

    Dec, 2018

  • 低延迟视频语义分割

    本研究提出了一种视频语义分割框架，该框架利用特征传播模块和自适应调度器相结合的方法，通过时间间隔自适应地融合特征并根据准确性预测动态分配计算量，以实现低延迟和高语义分割质量。实验结果表明，在与现有模型的比较中，该模型在 Cityscapes 和 CamVid 这两个数据集上获得了竞争性的性能，并将延迟从 360 ms 降低到 119 ms。

    Apr, 2018

  • 通过门控循环流传播进行语义视频分割

    本文提出了一种利用未标记数据改进的视频语义分割训练模型，该模型结合了卷积架构和时空转换器循环层，并能够通过光流适应性地门控使时间上的标记信息传递，模型通过未标记帧来改善视频分割准确性，并在基于多个深度架构中进行了广泛实验。

    Dec, 2016

  • 基于逐帧推理的高效语义视频分割

    本文提出了一种有效的语义视频分割方法，借鉴于现有方法中将结果传播到相邻帧或使用其他帧提取帧表示时可能会导致不准确的结果或不平衡的延迟问题，我们在推理过程中采用逐帧方式处理，其中显式考虑帧与帧之间的时间一致性，并将此一致性嵌入到语义分割网络中。通过新的知识蒸馏方法，我们成功地缩小了紧凑型模型与大型模型之间的性能差距。我们的结果在 Cityscapes 和 Camvid 等流行基准测试中优于先前的基于关键帧的方法，并提高了与独立训练每帧的对应基线的时间一致性。

    Feb, 2020

  • Warp-Refine 传播：通过循环一致性实现半监督自动标注

    本文提出了一种新的标签传播方法，即 Warp-Refine Propagation，通过将几何和语义线索结合起来，半监督地利用时间轴上的循环一致性，学习精细地修正几何变形的标签并将它们与学习到的语义先验相结合，以高效地自动标注视频序列，这种方法显著提高了标签传播的表现，并实现了在三个语义分割基准上的竞争性结果 improvement。

    Sep, 2021

  • GSVNet: 基于引导变空间卷积的快速视频语义分割

    该论文提出了一种简单而有效的传播框架，包括轻量级流估计和引导式空间变化卷积方法，实现了视频分割的最优准确度和吞吐量的平衡。

    Mar, 2021

  • ICNet 用于高分辨率图像的实时语义分割

    本文提出了一种基于图像级联网络 (ICNet) 的实时语义分割方法，通过多分辨率分支和级联特征融合单元，以及恰当的标签引导来降低像素级标签推断的计算量，从而实现对挑战性数据集（如 Cityscapes，CamVid 和 COCO-Stuff）的高质量实时分割。

    Apr, 2017

  • 边缘计算下的高效异构视频分割

    我们提出了一个高效的视频分割系统，用于资源有限的边缘设备，利用异构计算，设计网络模型并优化异构数据流，实现了高精度、低延迟、高帧率和低功耗的实时增强现实系统。

    Aug, 2022

  • 超越语义图像分割：探索视频中高效推理的方法

    探究 CRF 推理模块的效率，将语义共同标记和更具表现力的模型结合起来，能够更有效地处理图像层次和区域层次的标记一致性和上下文。由此，本文将空间平滑和出现核扩展到视频数据上，以实现视频语义分割的最佳效果。

    Jul, 2015

  • 基于空间稀疏性的实时语义图像分割

    本文介绍了一种语义分割的方法，通过使用双列网络结构和特定区域的忽略来降低计算成本，并在保证较高质量的前提下实现每秒处理约 15 张高分辨率 Cityscapes 图像的能力，达到了 72.9％的平均交集联合得分。

    Dec, 2017