Jun, 2020

具有扭曲感知特征修正的视频语义分割

PDF
TL;DR本文提出一种畸变感知的特征校正方法来改善视觉语义分割的性能，旨在将畸变的传播特征纠正回去，首先通过畸变模式预测方法将畸变模式从特征传回图像空间并利用其指导特征校正，实验表明此方法在 Cityscapes 和 CamVid 数据集上显著优于现有最先进的方法。
video semantic segmentationfeature correctiondistortion mapsoptical flow estimationimage space
发现论文，激发创造
  • 利用基于块运动的特征插值进行视频快速语义分割

    本文提出了一种新的加速视频推理的方法 —— 使用基于块运动向量和特征传播技术实现的快速特征传播技术以及基于周围帧传播得到的特征的特征插值技术，能够在保持精度的前提下，将图像分割的速度从单帧基线的 30ms 提高到每秒 20 帧，实现了几乎 6 倍的改进。

    Mar, 2018

  • 快速准确场景分割的语义流

    本文提出了一种名为 'Flow Alignment Module' 的方法，通过学习场景不同层级之间的语义流，并将高层次特征有效和高效地广播到高分辨率特征，使得在轻量级骨干网络上如 ResNet-18 表现卓越，在 Cityscapes 数据集上获得了 80.4% 分割精度，时速达到 26FPS。

    Feb, 2020

  • 低延迟视频语义分割

    本研究提出了一种视频语义分割框架，该框架利用特征传播模块和自适应调度器相结合的方法，通过时间间隔自适应地融合特征并根据准确性预测动态分配计算量，以实现低延迟和高语义分割质量。实验结果表明，在与现有模型的比较中，该模型在 Cityscapes 和 CamVid 这两个数据集上获得了竞争性的性能，并将延迟从 360 ms 降低到 119 ms。

    Apr, 2018

  • 使用外观流构建渐进补充网络用于鱼眼图像矫正

    本文提出了一个特征级的校正方案，并引入一个平行互补结构来解决畸变矫正网络中的模糊性能和模糊纠正等问题。实验结果证明了该方法的优越性。

    Mar, 2021

  • 适用于实时视频分割的失真感知网络剪枝和特征重用

    本文提出了一个新的框架，利用视频中的时空局部性来加速实时视觉任务中带有跳跃连接的任何结构，通过基于失真的门控机制动态删除残差块来在当前帧的区域上执行骨干网络的部分计算。

    Jun, 2022

  • 流引导视频修复的误差补偿框架

    本研究提出了基于流场引导的视频修复的误差补偿框架（ECFVI），通过设计新的流场完备模块和误差补偿网络，提高视频修复的时间连贯性和视觉质量，并通过新的基准测试数据集对所提出方法的高效性进行了支持。

    Jul, 2022

  • 每一帧都很重要：视频分割和光流联合学习

    提出一种新的框架以实现视频语义分割和光流估计的联合训练，通过联合训练利用视频中已标记和未标记的帧，使视频语义分割和光流估计更加稳健并在相应任务中表现优异。

    Nov, 2019

  • 基于流引导的视频目标检测特征聚合

    该研究提出了一种基于流引导特征聚合的视频物体检测学习框架，该框架通过沿着运动路径聚合邻近特征来提高视频的识别精度，避免了视频中物体外观退化的问题，并且完全可训练，与 ImageNet VID 挑战的最佳工程系统相当

    Mar, 2017

  • 可靠的传播校正调制技术用于视频对象分割

    本研究提出一种具有高可靠性的纠错机制，包括对目标帧嵌入进行稳健的信道重校准，引入可靠引用补充 “根据局部时间相关性和可靠参考” 两种调节器，采用级联纠正方案，用于在线半监督视频对象分割中抑制误差传播，并通过在可靠性过滤器中检索可靠补丁，将参考线索增强，最终，在 YouTube-VOS18/19 和 DAVIS17-Val/Test 基准上实现最先进的性能表现。

    Dec, 2021

  • FVC：基于特征空间的深度视频压缩新框架

    本文介绍了一种在特征空间内实现运动估计、压缩、补偿和残差压缩的视频编码网络，通过多帧特征融合模块，并利用非局部注意力机制融合多帧参考特征提高帧重建效果，该网络在四个基准数据集上达到了最先进的性能。

    May, 2021