Sep, 2023

SSVOD：带有稀疏标注的半监督视频物体检测

PDF
TL;DR通过利用视频的动态运动特性，我们引入了 SSVOD，一个端到端的半监督视频目标检测框架，以利用大规模未标记的帧和稀疏注释来选择性地组装鲁棒的伪标签，并通过结合硬伪标签和软伪标签的置信度阈值进行伪标签的确认偏见和不确定性噪声的平衡，从而在 ImageNet-VID，Epic-KITCHENS 和 YouTube-VIS 数据集上实现了显著的性能改进。
semi-supervised learningvideo object detectionmotion dynamicspseudo-labelsperformance improvements
发现论文，激发创造
  • 使用伪标签的半监督视频显著目标检测

    本论文提出了一种基于半监督学习的视频显著性目标检测方法，使用伪标签从稀疏注释帧中生成像素级伪标签，并结合部分手动注释，学习了空间和时间线索，进而产生准确的显著性图。实验结果表明，我们的方法在 VOS、DAVIS 和 FBMS 三个公共基准测试数据集上均明显优于所有最先进的全监督方法。

    Aug, 2019

  • 弱监督视频显著目标检测

    本文提出了基于新型弱标注的视频显著目标检测模型，并使用外观运动融合模块和双向 ConvLSTM 框架来实现有效的多模态学习和长期时序建模，还设计了一种前景背景相似度损失和一种弱标注增强策略，以提高模型性能和伪标签生成技术。在六个基准视频显著性检测数据集上的实验结果证明了我们方案的有效性。

    Apr, 2021

  • DVOS: 自我监督的密集纹理视频目标分割

    使用多任务学习的扩散方法，我们发展了一种半自监督时空方法，通过模拟真实视频的光流和运动来合成可用于训练 DVOS 模型的计算机注释视频；在小麦头部分割方面，我们提出的方法表现出较高的性能，当在无人机捕捉的外部测试集上进行测试时，Dice 分数达到了 0.82。

    Jun, 2024

  • SpVOS：具有三重稀疏卷积的高效视频目标分割

    本文提出了一种名为 SpVOS 的 VOS 稀疏基线方法，通过开发一种新颖的三元稀疏卷积来减少整体 VOS 框架的计算成本，并结合稀疏训练策略对 VOS 分割性能和计算成本进行平衡，实验结果表明 SpVOS 在资源受限场景下具有应用潜力。

    Oct, 2023

  • FODVid: 视频中的流引导物体发现

    我们在视频中对象的分割问题上提出了一种新的管道（FODVid），它基于使用流引导图割和时间一致性的思想来引导分割输出，通过设计一个融合了帧内外观和流相似性以及帧间对象时间持续性的分割模型，我们的方法在无监督的视频对象分割中取得了与现有顶级方法相当的结果（在 mIoU 范围内相差约 2 个单位），我们技术的简单性和效果为视频领域的研究开辟了新的研究途径。

    Jul, 2023

  • 即时教学：一种端到端的半监督目标检测框架

    本研究介绍了一个完全端到端的有效半监督物体检测框架 Instant-Teaching，使用了即时伪标记和扩展的弱 - 强数据增强进行教学。在 MS-COCO 和 PASCAL VOC 数据集上的实验证明了我们提出的方法优于现有方法。

    Mar, 2021

  • 双镜头视频物体分割

    本文提出了一种新的视频对象分割训练范式 - 两张标记帧的视频对象分割，通过在训练期间生成伪标签并将其与已标记数据结合优化模型，我们仅需要稀疏注释就可以训练出令人满意的模型。通过使用 YouTube-VOS 和 DAVIS 基准测试的仅仅 7.3％和 2.9％标记数据，我们的方法取得了与全标记集训练的同行相当的结果。

    Mar, 2023

  • 视频分割的密集无监督学习

    本研究提出了一种新的无监督学习方法，其中使用密集特征表示直接进行卷积全制度的学习来进行视频对象分割。通过使用一个简单的规则化方案，该方法能够提高分割精度并达到快速的训练收敛。最终，该方法在标准的视频对象分割基准测试中取得了较高的精度。

    Nov, 2021

  • 观察和学习：从视频中半监督学习目标检测器

    本文提出一种半监督的方法，用于在长视频中定位多个未知的物体实例，通过这种方法可以有效地进行对象检测和跟踪，同时实现对大量静态物体实例的识别。

    May, 2015

  • WSSOD: 弱监督和半监督目标检测的新流水线

    本文提出了一种弱 / 半监督目标检测框架 (WSSOD)，通过在联合数据集上训练代理检测器，进而在弱标注图像上预测伪包围框，提出了弱监督损失 (WSL)、标签注意力和随机伪标签采样策略来放宽当前半监督流程的假设，并为检测管道的有效性带来额外的改进。这个框架在 PASCAL-VOC 和 MSCOCO 基准测试中展示了显著的性能，只有三分之一的注释数据就能达到与完全监督相同的高性能。

    May, 2021