AAAIDec, 2023

不再取巧：实现时间自监督的潜力

PDF
TL;DR我们提出了更具挑战性的帧级自我监督任务和有效的增强策略，通过增加 Transformer 模型来训练从对比学习中预训练的单帧视频表示，大幅提升了通过时间自我监督学习到的特征的质量，并且在高水平语义任务和低水平时序任务上表现出卓越的性能。
self-supervised approachesvideotemporal self-supervisionframe-level recognition taskstransformer
发现论文，激发创造
  • 时间至上：为视频 Transformer 提供时间自监督

    本文提出了一种面向视频任务的基于 Transformer 的模型，通过自监督学习并增加对视频帧之间时间轴的考虑，有效地消除了空间偏差，提升了模型对于时间动态的表征能力并实现了很好的视频分类效果。

    Jul, 2022

  • 时序自监督的音视频对比学习

    本文提出了一种自我监督学习方法，用于学习视频的表示，结合了 RGB 帧和相关的音频，通过多模式对比目标来扩展时间自我监督的音频 - 视觉设置，并提出了新的对比目标。

    Feb, 2023

  • 视频对应的时空自监督学习

    本文提出了一种空间 - 时间自我监督学习方法，通过对无标注图像的对比学习来提取空间特征，并通过重构学习利用无标注视频中的时间线索增强特征，以在视频分析任务上取得比现有自我监督方法更好的表现，并进行了削减研究以验证两步设计以及蒸馏损失的有效性。

    Sep, 2022

  • 视频 Transformer 的长短时对比学习

    本文提出了一种叫做 “长短时对比学习（LSTCL）” 的学习程序，可以让视频变压器模型在预测来自更长的时间范围内捕获的时序上下文的同时，学习一个有效的剪辑级表示，并在多项视频基准测试上取得了有竞争力的表现，成为有监督基于图像的预训练的有力替代方案。

    Jun, 2021

  • 时间信息能帮助对比自监督学习吗？

    本篇论文提出了 Temporal-aware Contrastive self-supervised learning （TaCo）的方法，该方法通过选择一组强大的时态变换，不仅作为数据强化，还作为额外的自我监督来构成视频理解的重要组成部分，从而可以提高无监督视频表示学习，大幅改善了下游分类任务的成果。

    Nov, 2020

  • 图像和文本的自监督减少对视觉快捷特征的依赖

    本文研究了深度学习模型中的 shortcut 特征在测试或部署时可能会产生的问题，提出了自我监督方法可以提高图像表示的健壮性和降低模型对 shortcut 特征的依赖，特别是在医学成像领域中具有一定的应用前景。

    Jun, 2022

  • 视频自监督学习综述

    本篇综述论文讨论了自监督学习在视频领域的应用，主要归纳了四种不同的自监督学习方法，分别为预测任务、生成式学习、对比学习和跨模态协议，并讨论了现有方法的局限性和未来发展方向。

    Jun, 2022

  • 具有自监督的情境化时空对比学习

    本文提出了一种基于上下文感知的时空对比学习（ConST-CL）的方法，该方法成功地实现了学习细粒度视频表示，利用区域预文本任务引导模型从一个视角到另一个视角转换，并整合整体和局部表示的并行学习过程。我们在多个数据集上评估了所学得的表示，并展示了 ConST-CL 在 6 个数据集上取得了具有竞争力的结果，包括 Kinetics，UCF，HMDB，AVA-Kinetics，AVA 和 OTB。

    Dec, 2021

  • 自监督视频 Transformer

    本研究提出了一种基于未标记视频数据进行自监督训练的视频 Transformer 方法。通过使用不同的空间大小和帧速率创建局部和全局的时空视图，实现了视频内 actions 的时空不变性，并且该方法不再需要使用负样本或专用存储器。该方法在动作识别基准数据集（Kinetics-400，UCF-101，HMDB-51 和 SSv2）上表现出色，并能够在小批量的情况下更快地收敛。

    Dec, 2021

  • 利用视频连续性进行自监督的时空表征学习

    该文章提出了一种名为 Continuity Perception Network (CPNet) 的自我监督学习方法，旨在利用视频连续性探索视频表示的本质，提出三种新的任务，促进视频表示学习，其在多个任务中表现优异。

    Dec, 2021