CVPRApr, 2018

低延迟视频语义分割

PDF
TL;DR本研究提出了一种视频语义分割框架，该框架利用特征传播模块和自适应调度器相结合的方法，通过时间间隔自适应地融合特征并根据准确性预测动态分配计算量，以实现低延迟和高语义分割质量。实验结果表明，在与现有模型的比较中，该模型在 Cityscapes 和 CamVid 这两个数据集上获得了竞争性的性能，并将延迟从 360 ms 降低到 119 ms。
semantic segmentationvideo-based applicationsfeature propagationadaptive schedulerlow-latency
发现论文，激发创造
  • GSVNet: 基于引导变空间卷积的快速视频语义分割

    该论文提出了一种简单而有效的传播框架，包括轻量级流估计和引导式空间变化卷积方法，实现了视频分割的最优准确度和吞吐量的平衡。

    Mar, 2021

  • 利用时间性进行半监督视频分割

    本文提出了一种端到端可训练的深度学习模型，利用时间信息来利用易于获取的未标记数据，从而解决了视频分割中标签稀缺的问题。实验结果表明，该模型能够显著优于基线方法和逐帧图像分割。

    Aug, 2019

  • 通过门控循环流传播进行语义视频分割

    本文提出了一种利用未标记数据改进的视频语义分割训练模型，该模型结合了卷积架构和时空转换器循环层，并能够通过光流适应性地门控使时间上的标记信息传递，模型通过未标记帧来改善视频分割准确性，并在基于多个深度架构中进行了广泛实验。

    Dec, 2016

  • 基于逐帧推理的高效语义视频分割

    本文提出了一种有效的语义视频分割方法，借鉴于现有方法中将结果传播到相邻帧或使用其他帧提取帧表示时可能会导致不准确的结果或不平衡的延迟问题，我们在推理过程中采用逐帧方式处理，其中显式考虑帧与帧之间的时间一致性，并将此一致性嵌入到语义分割网络中。通过新的知识蒸馏方法，我们成功地缩小了紧凑型模型与大型模型之间的性能差距。我们的结果在 Cityscapes 和 Camvid 等流行基准测试中优于先前的基于关键帧的方法，并提高了与独立训练每帧的对应基线的时间一致性。

    Feb, 2020

  • 标签传播与细化的高效视频语义分割

    本文提出了一种高清视频实时语义分割的混合 GPU / CPU 方法，并给出了一种称之为 EVS 的管道，该管道结合了 CPU 和 GPU 两种不同的处理方式，以优化视频帧率和分割准确度。

    Dec, 2019

  • 利用基于块运动的特征插值进行视频快速语义分割

    本文提出了一种新的加速视频推理的方法 —— 使用基于块运动向量和特征传播技术实现的快速特征传播技术以及基于周围帧传播得到的特征的特征插值技术，能够在保持精度的前提下，将图像分割的速度从单帧基线的 30ms 提高到每秒 20 帧，实现了几乎 6 倍的改进。

    Mar, 2018

  • 基于空间稀疏性的实时语义图像分割

    本文介绍了一种语义分割的方法，通过使用双列网络结构和特定区域的忽略来降低计算成本，并在保证较高质量的前提下实现每秒处理约 15 张高分辨率 Cityscapes 图像的能力，达到了 72.9％的平均交集联合得分。

    Dec, 2017

  • 快速视频语义分割的局部内存注意力

    本文提出了一种新颖的神经网络模块，可以将现有的单帧语义分割模型转化为视频语义分割流水线，并将过去帧中的语义信息聚合到内存模块中，并通过关注机制来对其进行访问。通过将这些提示与当前帧的编码进行融合，可以改善 Cityscapes 数据集上的分割性能，并只需增加 1.5ms 的推理时间。

    Jan, 2021

  • 时钟卷积神经网络用于视频语义分割

    提出了一种新颖的叫做 “clockwork convnets” 的卷积神经网络框架，它能够通过对视频中语义内容的稳定性进行处理，以更高效和精确地进行实时视频识别和自适应视频处理。

    Aug, 2016

  • 关于视频分割的深度学习技术调查

    该论文综述了在视频分割中使用的深度学习算法，其中包括了对象分割和语义分割，同时提供了这两种方法和数据集的详细概述，以及在几个知名数据集上的性能评估和未来研究的机会。

    Jul, 2021