Jun, 2020

利用多模态自监督从零开始标记未标记的视频

PDF
TL;DR本文提出了一种基于音频和视觉的聚类方法，可以实现对视频数据集的无监督标记。经过广泛的分析，结果聚类与人工标签有很高的语义重叠性。同时，该方法也为 Kinetics，Kinetics-Sound，VGG-Sound 和 AVE 等常见视频数据集的无监督标记带来了首批基准结果。
deep learningvideo datasetunsupervised labellingfeature encodersclustering method
发现论文，激发创造
  • 视频自监督学习综述

    本篇综述论文讨论了自监督学习在视频领域的应用，主要归纳了四种不同的自监督学习方法，分别为预测任务、生成式学习、对比学习和跨模态协议，并讨论了现有方法的局限性和未来发展方向。

    Jun, 2022

  • 基于伪标签监督的视频查询摘要

    本文介绍了一种利用自我监督和伪标记来预先训练深度模型，并提出了一种含义增强器和相互关注的方法来生成上下文感知的查询表示，以改进视频摘要任务的性能，并在常见的视频摘要 benchmark 中获得了最先进的性能。

    Jul, 2023

  • 自监督无监督学习超声视频特征表示

    本研究提出一种无需人类标记学习医学影像视频有意义且可迁移表示的自监督学习方法，利用无标记数据的解剖结构实现身体结构感知任务训练，并在胎儿超声视频上进行实验以表明该方法有效。

    Feb, 2020

  • 用于自监督学习的多模聚类网络：来自无标签视频

    本文提出了一个自监督训练框架，通过在训练管道中增加多模态聚类步骤以捕捉跨模态的语义相似性，进而学习一个共同的多模态嵌入空间，并证明其能在文本到视频检索和时间动作定位等两个具有挑战性的领域展示出四个不同数据集上的最新成果.

    Apr, 2021

  • 多视角伪标记用于视频半监督学习

    我们提出了一种多视角伪标记方法来进行视频学习，它利用外观和运动信息的互补视角进行半监督学习，以获取更可靠的伪标签并比纯监督数据学习更强的视频表示。我们的方法在多个视频识别数据集上大大优于其监督对应方法，并在自监督视频表示学习的标准基准测试中与先前的工作相比具有竞争优势，同时仍然训练一个共享外观和运动输入的模型，因此在推理时间不会产生额外的计算开销。

    Apr, 2021

  • 自训练方式提升语义分割

    本文提出了一种半监督学习的方法，即自我训练范式，通过用标注数据训练教师模型并在大量未标注数据上生成伪标签，以较少的监督实现像素级准确模型，并在 Cityscapes，CamVid 和 KITTI 数据集上取得了最优表现，同时，在具有挑战性的跨域泛化任务上表现更佳，最后，为了减轻大量伪标签带来的计算负担，提出了一种快速训练计划来加速分割模型的训练。

    Apr, 2020

  • 多任务学习和自监督实现高效的音频分类

    本研究旨在通过使用多任务学习和自监督学习提高基于 WaveNet 的大型神经网络在音频数据上的标签效率，并证明在有限的标记训练数据场景下，同时训练其他自监督任务可以显著提高分类性能。

    Oct, 2019

  • 无需对齐视频和文本数据的可伸缩精准的自监督多模态表征学习

    本文介绍了利用图像字幕预训练高质量视频模型的方法，并证明了以图像字幕代替自动语音识别字幕的预训练方法更有效，使用图像和视频一起进行预训练比单独使用一种模式的预训练能显著提高网络性能，并且这种方法可以与现有的预训练或数据挖掘方法相辅相成。

    Apr, 2023

  • 深度神经网络自监督视觉特征学习：综述

    本文综述了基于深度神经网络的自监督学习方法在视觉特征学习方面的应用，由于需要大量标记数据来训练深度神经网络，因此自监督学习被提出来，使用大规模未标记数据来学习图像和视频的通用特征而无需使用任何人工标记的标签。本文对自监督学习方法的主要组件和评估指标以及已有的图像和视频特征学习方法进行了综述和比较。

    Feb, 2019

  • 优化预训练动作模型

    使用自我监督训练改进现有的有监督模型，通过将数据标记和训练分为两个不同的阶段，并结合简单的技术来稠密化和重平衡伪标签，从而在实际视频中实现可靠的增益，适用于短期（基于流）和长距离（多帧）像素跟踪。

    Jan, 2024