Jan, 2022

边界感知的自监督学习用于视频场景分割

PDF
TL;DR本文提出了一种基于无监督自学习框架的视频场景分割算法，采用三种新颖的边界感知预训练任务 (SSM, CGM, PP)，重点在于设计有效的预训练任务，通过广泛的实验结果表明，预训练和转移环境表示对于改善视频场景分割性能至关重要，并实现了 MovieNet-SSeg 基准测试的最新最好成绩。
self-supervised learningvideo scene segmentationpretext taskscontextual representationstate-of-the-art
发现论文，激发创造
  • 视频场景分割的场景一致性表示学习

    提出了一种有效的自监督学习 (SSL) 框架，通过探索大量的数据增强和洗牌方法来提高模型的泛化能力，并引入一个简单的时间模型来验证镜头特征的质量，从而实现场景一致性。该方法在 Video Scene Segmentation 任务上取得了最先进的性能，并提出了更公平合理的评估方法。

    May, 2022

  • 利用视频连续性进行自监督的时空表征学习

    该文章提出了一种名为 Continuity Perception Network (CPNet) 的自我监督学习方法，旨在利用视频连续性探索视频表示的本质，提出三种新的任务，促进视频表示学习，其在多个任务中表现优异。

    Dec, 2021

  • 基于伪标签监督的视频查询摘要

    本文介绍了一种利用自我监督和伪标记来预先训练深度模型，并提出了一种含义增强器和相互关注的方法来生成上下文感知的查询表示，以改进视频摘要任务的性能，并在常见的视频摘要 benchmark 中获得了最先进的性能。

    Jul, 2023

  • 通过上下文和运动解耦实现自监督视频表示学习

    本文提出了一种自监督学习的方法，通过在压缩视频中提取关键帧和动态向量来分别监督上下文和动态信息，并同时设计了两种预设任务，即上下文匹配任务和动态预测任务，以提高视频表示的质量和行动识别准确性。

    Apr, 2021

  • 视频时间定位的边界敏感预训练

    本文首次探讨采用边界敏感预训练任务的方式进行时间定位的模型预训练，并在多个时间定位任务上实现了新的最先进性能，证明了该方法的有效性。

    Nov, 2020

  • 通过发掘时空统计信息进行自监督视频表示学习

    本文旨在提出一种自监督视频表示学习的新型先验任务，通过计算一系列时空统计摘要信息，利用神经网络训练来产生摘要信息，采用多种空间分区模式进行粗略的空间位置编码方法来缓解学习难度，在四个 3D 骨干网络上的实验结果表明，该方法优于现有方法在视频分析任务上的性能表现包括动作识别、视频检索、动态场景识别和动作相似性标签。

    Aug, 2020

  • 研究自监督方法以实现标签高效学习

    视觉变换器结合自监督学习，在分类、分割和检测等多个下游任务上能够扩展到大规模数据集。我们通过比较预训练模型，在不同自监督预训练任务（对比学习、聚类和掩模图片建模）的低样本学习能力以及应对崩溃的方法（居中、ME-MAX 和 Sinkhorn）对这些下游任务的影响进行系统级研究。基于我们的详细分析，我们提出了一个框架，将掩模图片建模和聚类作为预训练任务，这个框架在包括多类分类、多标签分类和语义分割在内的所有低样本下游任务中表现更好。此外，当在完整规模的数据集上测试模型时，我们在多类分类、多标签分类和语义分割中展示了性能提升。

    Jun, 2024

  • 自监督事件分割的感知预测框架

    本文提出了一种自我监督的、基于认知心理的预测学习框架，通过自适应学习来减少循环神经网络中灾难性遗忘的影响，在三个公共数据集上进行了广泛的实验，表明所提出的方法能够优于弱监督和其他非监督学习方法最多达 24％，并具有完全监督方法相媲美的性能。同时，该方法还能够学习高度区分特征，进而提高动作识别的表现。

    Nov, 2018

  • LOCATE：基于流引导图割和自主引导自训练的自监督目标发现

    利用动态信息和外观信息，我们提出了一种自我监督的目标发现方法，该方法能够生成高质量的目标分割遮罩，并在多个基准测试中取得与现有方法相媲美甚至超越的结果。

    Aug, 2023

  • 完全自监督学习用于语义分割

    我们提出了一个基于自我监督的完全自我监督语义分割框架，其中包括金字塔全局引导培训策略和上下文感知嵌入模块等组成部分，显著改善了 COCO-Stuff 数据集上物品和物品分类的性能。

    Feb, 2022