ECCVFeb, 2020

基于逐帧推理的高效语义视频分割

PDF
TL;DR本文提出了一种有效的语义视频分割方法，借鉴于现有方法中将结果传播到相邻帧或使用其他帧提取帧表示时可能会导致不准确的结果或不平衡的延迟问题，我们在推理过程中采用逐帧方式处理，其中显式考虑帧与帧之间的时间一致性，并将此一致性嵌入到语义分割网络中。通过新的知识蒸馏方法，我们成功地缩小了紧凑型模型与大型模型之间的性能差距。我们的结果在 Cityscapes 和 Camvid 等流行基准测试中优于先前的基于关键帧的方法，并提高了与独立训练每帧的对应基线的时间一致性。
semantic segmentationreal-time deep modelsper-frame modelstemporal consistencyknowledge distillation methods
发现论文，激发创造
  • 利用时间性进行半监督视频分割

    本文提出了一种端到端可训练的深度学习模型，利用时间信息来利用易于获取的未标记数据，从而解决了视频分割中标签稀缺的问题。实验结果表明，该模型能够显著优于基线方法和逐帧图像分割。

    Aug, 2019

  • 语义视频分割：探索推理效率

    本研究探讨了基于 CRF 推理在图像级别的语义分割之外，在视频帧中进行联合推理的效率，并结合语义共同标注和更具表现力的模型。在 CamVid 数据集上，通过 TextonBoost unaries，我们的提议方法在没有额外时间开销的情况下，相对于单独的语义图像分割，实现了高达 8% 的精度提升。

    Sep, 2015

  • 低延迟视频语义分割

    本研究提出了一种视频语义分割框架，该框架利用特征传播模块和自适应调度器相结合的方法，通过时间间隔自适应地融合特征并根据准确性预测动态分配计算量，以实现低延迟和高语义分割质量。实验结果表明，在与现有模型的比较中，该模型在 Cityscapes 和 CamVid 这两个数据集上获得了竞争性的性能，并将延迟从 360 ms 降低到 119 ms。

    Apr, 2018

  • 标签传播与细化的高效视频语义分割

    本文提出了一种高清视频实时语义分割的混合 GPU / CPU 方法，并给出了一种称之为 EVS 的管道，该管道结合了 CPU 和 GPU 两种不同的处理方式，以优化视频帧率和分割准确度。

    Dec, 2019

  • 每一帧都很重要：视频分割和光流联合学习

    提出一种新的框架以实现视频语义分割和光流估计的联合训练，通过联合训练利用视频中已标记和未标记的帧，使视频语义分割和光流估计更加稳健并在相应任务中表现优异。

    Nov, 2019

  • 学习盲视频时间一致性

    本文利用深度递归神经网络，结合短期、长期以及感知上的损失，为视频处理提供了一种基于帧的将原始视频和处理后的视频作为输入，生成时间上连贯的视频的方法，实现了对多种需求的处理，且无需光流计算，具有实时性能。

    Aug, 2018

  • 从视频学习时空一致性以提高语义分割

    利用无监督学习深度、自我运动和相机内在参数，通过在视频帧之间施加三维几何和时间一致性，从而提高单图像语义分割性能。

    Apr, 2020

  • 超越语义图像分割：探索视频中高效推理的方法

    探究 CRF 推理模块的效率，将语义共同标记和更具表现力的模型结合起来，能够更有效地处理图像层次和区域层次的标记一致性和上下文。由此，本文将空间平滑和出现核扩展到视频数据上，以实现视频语义分割的最佳效果。

    Jul, 2015

  • 利用基于块运动的特征插值进行视频快速语义分割

    本文提出了一种新的加速视频推理的方法 —— 使用基于块运动向量和特征传播技术实现的快速特征传播技术以及基于周围帧传播得到的特征的特征插值技术，能够在保持精度的前提下，将图像分割的速度从单帧基线的 30ms 提高到每秒 20 帧，实现了几乎 6 倍的改进。

    Mar, 2018

  • CBinfer：利用帧间局部性加速卷积神经网络对视频流的推断

    采用新算法利用空间 - 时间稀疏性在计算机视觉中取得了高能效，即使在嵌入式设备上不需要重新训练网络，也可在语义分割应用中达到快速且准确的实时推断

    Aug, 2018