CVPRMar, 2023

改变压缩视频分辨率以高效进行语义分割

PDF
TL;DR本文提出了一种称为 AR-Seg 的改变分辨率框架，旨在通过使用低分辨率来减少非关键帧的计算成本，同时避免降采样引起的性能下降，CReFF 模块能够更好地进行空间对齐和聚合，FST 策略能够通过显式相似性损失和隐式约束提高分割准确性，CamVid 和 Cityscapes 等多个数据集上，AR-Seg 在不同分割骨干网的情况下实现了最先进的性能。
video semantic segmentationefficientinput resolutioncrefffst
发现论文，激发创造
  • 用于高效视频语义分割的蒙版传播

    视频语义分割（VSS）通过为视频序列中的每个像素分配语义标签来完成。本文提出了一种名为 MPVSS 的高效掩码传播框架，通过利用学习到的查询生成一组与关键帧的掩码预测相关的面向片段的流图，并将这些掩码 - 流对变换为非关键帧的掩码预测，从而在保证精度的同时大幅降低计算成本。经过 VSPW 和 Cityscapes 等数据集的大量实验证明，我们的框架在准确性和效率方面取得了 SOTA 水平的折衷，最佳模型在 VSPW 数据集上使用 Swin-L 骨干网络相比于 SOTA MRCFA（使用 MiT-B5）的 mIoU 提高了 4.0%，只需要 26% 的 FLOPs。此外，与单帧 Mask2Former 基线相比，我们的框架在 Cityscapes 验证集上降低了高达 4 倍的 FLOPs，仅引起 2% 的 mIoU 降低。

    Oct, 2023

  • SAM 是否有助于视频超分辨率？

    使用 Segment Anything Model 为基础的语义感知的先验知识，通过 SAM-guidEd refineMent 模块 (SEEM) 来提高视频超分辨率效果，并在 EDVR 和 BasicVSR 等现有方法中都得到了一致的提升，同时提高了性能与参数数量平衡调整的灵活性。

    May, 2023

  • 挖掘视频语义分割的跨帧亲和性关系

    本文从挖掘帧间关联的角度出发，提出了一种使用 “Single-scale Affinity Refinement” 和 “Multi-scale Affinity Aggregation” 加强帧间亲和力的方法，该方法在视频语义分割任务中性能表现优异。

    Jul, 2022

  • 基于预训练扩散模型的零样本视频语义分割

    我们引入了第一个基于预训练扩散模型的零样本视频语义分割方法，该方法在各种视频语义分割基准测试中明显优于现有的零样本图像语义分割方法，并且在 VSPW 数据集上与有监督的视频语义分割方法不相上下，尽管它没有经过显式的 VSS 训练。

    May, 2024

  • 基于消失点引导的驾驶场景视频语义分割

    利用消失点先验知识的 VPSeg 模型在驾驶场景下进行视频语义分割，通过两个模块（DenseVP 和 MotionVP）利用静态和动态消失点先验知识，实现了更加有效的分割结果。这种模型在两个流行的驾驶分割基准数据集 Cityscapes 和 ACDC 上的实验证明了其在准确性方面的卓越表现，同时计算开销相对较小。

    Jan, 2024

  • 低延迟视频语义分割

    本研究提出了一种视频语义分割框架，该框架利用特征传播模块和自适应调度器相结合的方法，通过时间间隔自适应地融合特征并根据准确性预测动态分配计算量，以实现低延迟和高语义分割质量。实验结果表明，在与现有模型的比较中，该模型在 Cityscapes 和 CamVid 这两个数据集上获得了竞争性的性能，并将延迟从 360 ms 降低到 119 ms。

    Apr, 2018

  • 学习时空频率变换器进行压缩视频超分辨率

    本文提出了一种基于 Frequency-Transformer 的压缩视频超分辨率方法，通过在空间、时间、频率域进行自注意力机制，有效地提取并转移高质量纹理进行视频帧增强和恢复。实验结果表明，该方法在两个广泛使用的视频超分辨率基准测试中均表现优于现有技术，并且在无损和有损视频上均具有明显的视觉优势。

    Aug, 2022

  • 利用基于块运动的特征插值进行视频快速语义分割

    本文提出了一种新的加速视频推理的方法 —— 使用基于块运动向量和特征传播技术实现的快速特征传播技术以及基于周围帧传播得到的特征的特征插值技术，能够在保持精度的前提下，将图像分割的速度从单帧基线的 30ms 提高到每秒 20 帧，实现了几乎 6 倍的改进。

    Mar, 2018

  • 语义镜头：面向视频超分辨率的实例中心语义对齐

    该研究提出了一种基于视频语义的超分辨率方法，通过引入语义先验信息并结合像素级特征，实现了准确的帧间对齐，从而在视频超分辨率任务中获得了优于现有方法的结果。

    Dec, 2023

  • 基于残差帧的稀疏重构技术实现的可扩展视频超分辨率框架

    文章提出了一个基于稀疏表示和压缩感知的超分辨率框架，用于在侦察和监视应用中对可扩展视频进行处理，实验结果表明，该框架具有更高的压缩率和更高的视频质量，是一种有效的压缩率更高、图像质量更优的视频处理算法。

    Jul, 2017