Apr, 2021

多视角伪标记用于视频半监督学习

PDF
TL;DR我们提出了一种多视角伪标记方法来进行视频学习，它利用外观和运动信息的互补视角进行半监督学习，以获取更可靠的伪标签并比纯监督数据学习更强的视频表示。我们的方法在多个视频识别数据集上大大优于其监督对应方法，并在自监督视频表示学习的标准基准测试中与先前的工作相比具有竞争优势，同时仍然训练一个共享外观和运动输入的模型，因此在推理时间不会产生额外的计算开销。
发现论文，激发创造
  • 多视角配准监督

    本论文提出一个半监督学习框架，利用多视图图像流训练关键点检测器，以弥补有限标注数据的不足。作者使用多视图几何和视觉跟踪的互补关系提供三种监督信号，使用未标记的数据训练网络，证明其优于 DeepLabCut 等现有的关键点检测器，特别适用于猴、狗、老鼠等非人类物种的关键点检测。

    Nov, 2018

  • 利用多模态自监督从零开始标记未标记的视频

    本文提出了一种基于音频和视觉的聚类方法，可以实现对视频数据集的无监督标记。经过广泛的分析，结果聚类与人工标签有很高的语义重叠性。同时，该方法也为 Kinetics，Kinetics-Sound，VGG-Sound 和 AVE 等常见视频数据集的无监督标记带来了首批基准结果。

    Jun, 2020

  • 基于伪标签监督的视频查询摘要

    本文介绍了一种利用自我监督和伪标记来预先训练深度模型，并提出了一种含义增强器和相互关注的方法来生成上下文感知的查询表示，以改进视频摘要任务的性能，并在常见的视频摘要 benchmark 中获得了最先进的性能。

    Jul, 2023

  • 半监督深度多视图立体

    本文提出了一种基于半监督学习的多视角立体视觉 (SE-MVS) 框架，其中一些 MVS 数据仅带有稠密深度地面实况。通过一致性正则化和样式一致性损失来提高深度估计的精度和完整性，实验结果表明该方法优于全监督和无监督方法。

    Jul, 2022

  • 使用伪标签的半监督视频显著目标检测

    本论文提出了一种基于半监督学习的视频显著性目标检测方法，使用伪标签从稀疏注释帧中生成像素级伪标签，并结合部分手动注释，学习了空间和时间线索，进而产生准确的显著性图。实验结果表明，我们的方法在 VOS、DAVIS 和 FBMS 三个公共基准测试数据集上均明显优于所有最先进的全监督方法。

    Aug, 2019

  • 从不配对的多视角语义对齐中学习以实现自我中心视频识别

    通过构建跨视角伪 pairs 并利用视频的语义信息进行视图不变性对齐以及进行第一人称和第三人称视频的视频文本对齐，我们提出了基于语义的非配对多视图学习（SUM-L）来解决非配对多视图学习问题。在多个基准数据集上的实验证实了我们的框架的有效性，并且在更具挑战性的场景下，我们的方法也优于现有的视图对齐方法。

    Aug, 2023

  • 无监督学习视角不变动作表示

    提出一种无监督学习框架，利用未标记的数据来学习视频表示，通过学习推断不同视图的三维运动，捕捉视角不变的动作特征，以及增强视角不变特征的学习方法，并在多个数据集上证明该方法对动作识别的有效性。

    Sep, 2018

  • 多视角视频学习：利用弱标注实现帧级感知

    使用弱标签在多视角视频上训练基于视频的动作识别模型，并使用潜在嵌入来提高准确性。

    Mar, 2024

  • 小规模视频识别的运动增强自训练

    本文介绍了一种称为 MotionFit 的自训练方法，采用 3D 卷积神经网络、运动模型和假标签来提高视频下游任务的效果。该方法在小规模视频数据集中表现优异，远超其他知识迁移算法、半监督学习和仅使用视频的自我监督学习。

    May, 2021

  • 多视角视频摘要的多视角度量学习

    本文为解决多视角视频摘要问题，提出了一种基于多视角度量学习框架，结合最大间隔聚类和不一致性最小化准则的系统性解决方案。通过实验验证，证明了该方法的有效性.

    May, 2014