CVPRMar, 2023

MobileVOS：实时视频目标分割，对比学习与知识蒸馏相遇

PDF
TL;DR本文提出一种基于知识蒸馏与像素对比学习相结合的理论框架并使用有限内存的小型空时存储网络，实现在资源受限的设备上进行半监督视频对象分割任务，与最先进的模型相比取得竞争性的 J＆F 评估结果，但计算成本只有最先进模型的一小部分，在三星 Galaxy S22 上每帧计算 32 毫秒，并验证了该理论框架在标准 DAVIS 和 YouTube 基准测试上的有效性。
发现论文，激发创造
  • 具有可变形注意力的自主视频目标分割中蒸馏学习

    基于可变形注意力的自监督视频对象分割方法在学习对象表示时能够有效地适应时间变化，通过将可变形注意力集成到蒸馏损失中，我们在自监督学习框架下训练了该方法，并在包括 DAVIS 2016/2017 和 YouTube-VOS 2018/2019 等基准数据集上对其进行了定性和定量评估，实验证实了其在性能和内存使用方面的优越性。

    Jan, 2024

  • 在线模型蒸馏以提高视频推断的效率

    该文研究使用模型蒸馏技术将低成本的语义分割模型专门应用于目标视频流，使模型接近高成本模型的准确性，并在推断运行时具有更低的成本以及更好的稳定性。

    Dec, 2018

  • 视频分割的密集无监督学习

    本研究提出了一种新的无监督学习方法，其中使用密集特征表示直接进行卷积全制度的学习来进行视频对象分割。通过使用一个简单的规则化方案，该方法能够提高分割精度并达到快速的训练收敛。最终，该方法在标准的视频对象分割基准测试中取得了较高的精度。

    Nov, 2021

  • 视频对象分割的学习实例传播（Learning Instance Propagation for Video Object Segmentation）

    本研究提出了一种端到端的深度神经网络，结合了 Mask-RCNN 实例分割网络和 Conv-GRU 视觉记忆模块，用于解决半监督视频对象分割任务，实验结果表明该方法在 DAVIS 数据集上取得了令人满意的结果。

    Sep, 2019

  • 多教师渐进蒸馏的轻量级目标检测学习

    对于计算和内存资源有限的感知系统，我们提出了一种简单但非常有效的序列化方法来通过知识蒸馏来提高轻量级分类模型的性能，并成功将基于 Transformer 的教师检测器的知识转化到基于卷积的学生检测器上，从而显著提升了 MS COCO 基准测试上 RetinaNet 和 Mask R-CNN 的性能。

    Aug, 2023

  • DVOS: 自我监督的密集纹理视频目标分割

    使用多任务学习的扩散方法，我们发展了一种半自监督时空方法，通过模拟真实视频的光流和运动来合成可用于训练 DVOS 模型的计算机注释视频；在小麦头部分割方面，我们提出的方法表现出较高的性能，当在无人机捕捉的外部测试集上进行测试时，Dice 分数达到了 0.82。

    Jun, 2024

  • TrickVOS：视频目标分割的一袋技巧

    为了提高半监督视频对象分割的性能，本文提出了一种名为 TrickVOS 的通用方法，包含结构感知的混合损失函数、简单的解码器预训练机制以及可降低模型预测误差的便宜跟踪器等级三个方面，并使用一种轻量级网络模型进行实验，取得了与现有最先进方法相媲美的结果，并且可以在移动设备上实时运行。

    Jun, 2023

  • KD-VLP: 用目标知识蒸馏改善端到端的视觉与语言预训练

    本文提出了一种基于图片格特征和语言信息的端到端多模式表示学习框架，其中使用自监督的对象知识蒸馏以提高跨模态对齐的准确性和效率，并在广泛的视觉和语言任务上取得了竞争性的表现。

    Sep, 2021

  • 基于核函数的记忆网络用于视频对象分割

    提出了一种基于核化记忆网络的半监督视频目标分割算法，采用了找茬策略来处理遮挡和边界提取等问题，并在标准基准测试上超过了目前最先进的算法 5% 的性能表现。

    Jul, 2020

  • 时空强化网络用于视频目标分割

    最近，视频对象分割（VOS）网络通常使用基于记忆的方法：对于每个查询帧，通过空间 - 时间匹配预测掩码以与记忆帧相匹配。尽管这些方法具有卓越的性能，但存在两个问题：1）具有挑战性的数据可以破坏相邻视频帧之间的空间 - 时间一致性。2）像素级匹配会由噪音或干扰引起不希望的不匹配。为解决上述问题，我们首先提出在相邻帧之间生成一个辅助帧，作为查询帧的隐式短时间参考。随后，我们为每个视频对象学习一个原型，并在查询帧和记忆帧之间实施原型级匹配。实验证明，在 DAVIS 2017 上我们的网络优于最先进的方法，达到了 86.4% 的 J&F 分数，并且在 YouTube VOS 2018 上获得了 85.0% 的竞争结果。此外，我们的网络的推理速度为 32+ FPS。

    May, 2024