Sep, 2015

语义视频分割：探索推理效率

PDF
TL;DR本研究探讨了基于 CRF 推理在图像级别的语义分割之外，在视频帧中进行联合推理的效率，并结合语义共同标注和更具表现力的模型。在 CamVid 数据集上，通过 TextonBoost unaries，我们的提议方法在没有额外时间开销的情况下，相对于单独的语义图像分割，实现了高达 8% 的精度提升。
发现论文，激发创造
  • 超越语义图像分割：探索视频中高效推理的方法

    探究 CRF 推理模块的效率，将语义共同标记和更具表现力的模型结合起来，能够更有效地处理图像层次和区域层次的标记一致性和上下文。由此，本文将空间平滑和出现核扩展到视频数据上，以实现视频语义分割的最佳效果。

    Jul, 2015

  • 基于逐帧推理的高效语义视频分割

    本文提出了一种有效的语义视频分割方法，借鉴于现有方法中将结果传播到相邻帧或使用其他帧提取帧表示时可能会导致不准确的结果或不平衡的延迟问题，我们在推理过程中采用逐帧方式处理，其中显式考虑帧与帧之间的时间一致性，并将此一致性嵌入到语义分割网络中。通过新的知识蒸馏方法，我们成功地缩小了紧凑型模型与大型模型之间的性能差距。我们的结果在 Cityscapes 和 Camvid 等流行基准测试中优于先前的基于关键帧的方法，并提高了与独立训练每帧的对应基线的时间一致性。

    Feb, 2020

  • 卷积条件随机场用于语义分割

    该论文介绍了如何在全连接 CRFs 中添加条件独立假设，从而利用卷积重构推理，提高了推理和训练的速度，并可以通过反向传播轻松优化卷积 CRFs 的所有参数，以便于后续的 CRF 研究。

    May, 2018

  • 基于深度高斯条件随机场的语义图像分割快速、准确、多尺度推理

    本文提出了一种结构化预测技术，其将高斯条件随机场与深度学习相结合，能够在保证唯一全局最优解的同时，使用精简的闭式表达式计算模型参数的梯度。通过在语义分割任务中引入多分辨率结构化优化框架，该系统在 PASCAL 2012 图像分割基准上显示出明显的改进。

    Mar, 2016

  • 利用时间性进行半监督视频分割

    本文提出了一种端到端可训练的深度学习模型，利用时间信息来利用易于获取的未标记数据，从而解决了视频分割中标签稀缺的问题。实验结果表明，该模型能够显著优于基线方法和逐帧图像分割。

    Aug, 2019

  • 标签传播与细化的高效视频语义分割

    本文提出了一种高清视频实时语义分割的混合 GPU / CPU 方法，并给出了一种称之为 EVS 的管道，该管道结合了 CPU 和 GPU 两种不同的处理方式，以优化视频帧率和分割准确度。

    Dec, 2019

  • 基于高层引导的语义部分分割深度学习

    本研究探讨了物体分割的任务，通过使用语义分割系统和限制玻尔兹曼机的有益信息，结合 Dense CRF 标签，采用判别式方法提高了语义部分分割的性能，并在 PASCAL 数据集上展示了优越的性能。

    May, 2015

  • 通过视频传播和标签弛豫来改进语义分割

    通过视频预测方法合成新的训练样本并引入边界标签松弛技术，使模型对标注噪声和传播伪影更加鲁棒，实现在 Cityscapes 数据集上 83.5%、CamVid 上 82.9% 的 mIoUs 并在 KITTI 语义分割测试集上取得 72.8% 的 mIoU，超过 ROB 挑战 2018 年的获奖模型。

    Dec, 2018

  • 利用网络爬虫视频的弱监督语义分割

    本文提出一种基于图像级别类别标签的弱监督语义分割算法，利用 Web 存储库中有关目标类别标签的视频检索并从检索到的视频中生成分割标签以模拟语义分割的强监督，该算法明显优于现有的同等监督方法，甚至与依赖额外标注方法的方法一样有竞争力。

    Jan, 2017

  • 视频字幕的判别性潜在语义图

    该研究提出了一种联合框架解决视频自动生成字幕中的三个关键问题，包括融合时空信息增强物体建议、动态提取高语义级别的视觉词，以及生成字幕验证确保语义概念的有效保留。实验表明该方法在各种评价指标上都显著优于现有的自然语言生成模型。

    Aug, 2021