时域 DINO: 提升动作预测的自监督视频策略

Aug, 2023

时域 DINO: 提升动作预测的自监督视频策略

Temporal DINO: A Self-supervised Video Strategy to Enhance Action Prediction

Izzeddin Teeti, Rongali Sai Bhargav, Vivek Singh, Andrew Bradley, Biplab Banerjee...

TL;DR研究论文介绍了一种新颖的自监督视频策略，通过 Temporal-DINO 方法在行动预测方面取得了显著改进，提高了背景骨干网络捕捉长期依赖性的能力。

Abstract

The emerging field of action prediction plays a vital role in various computer vision applications such as autonomous driving, activity analysis and human-computer interaction. Despite significant advancements, accurately predicting future actions remains a challenging problem due to h

action prediction self-supervised video strategy temporal-dino prediction performance backbone architectures

发现论文，激发创造

DINO-Tracker：单视频中自监督点追踪的 DINO 驯化

DINO-Tracker 是一种新的视频长期密集跟踪框架，通过在单个视频上进行测试时间训练，并结合预训练的 DINO-ViT 模型中学到的强大的局部语义特征，从而适应测试视频的动态观察，同时训练一种直接利用改进特征的跟踪器，通过自监督损失和正则化的组合实现端到端训练，并在已知基准测试中取得了最先进的结果；DINO-Tracker 在长期遮挡跟踪的挑战性案例中显著优于自监督方法，而且在竞争中超越了最先进的监督跟踪器。

Mar, 2024

视频表示学习的自监督时序判别学习

本研究提出一种新的基于视频的自监督学习框架 VTDL，通过增加时间三元组数据的容量来增强时间特征表示的能力，并使用 Temporal Consistent Augmentation（TCA）设计器进行时间信息测量。该方法在动作识别任务中具有显著优势，并且在使用小规模视频数据集进行预训练时，该自监督方法优于完全监督方法。

Aug, 2020

基于动作驱动的视频目标检测的时间动态图 LSTM

本文研究了一种弱监督目标检测框架，通过使用视频和动作描述作为监督信号，并提出了一种基于时间动态图长短期记忆网络的新方法来解决视频中缺失标签等问题，并在 Charades 数据集上进行了广泛的评估，证明了该方法的优越性。

Aug, 2017

视频深度信息最大化表示学习

本文介绍一种名为 Video Deep InfoMax (VDIM) 的自监督学习方法，将原 DeepInfoMax 扩展至视频领域，其利用内部结构构建视图，并利用这些视图进行预测任务，从而实现对 UCF-101 数据集的行为识别任务的 SoTA 预测结果。

Jul, 2020

何时做什么？- 预测活动的时间发生

提出了两种方法来进行视频动作的长期预测。使用卷积神经网络和循环神经网络进行学习，能够生成准确的未来预测甚至在包含大量不同动作的长视频中也可以处理噪音或错误的输入信息。

Apr, 2018

动态推理：一种新的高效视频动作识别方法

本文提出了一种动态推断方法，从网络深度和输入视频帧数的角度来提高推断效率，通过在输入帧和计算图的深度之间建立将预测模块放置在预先选择的检查点上，并按照预定义的路径逐步在网格上进行推断，可在中途进行预测和提前停止。通过实例化三个动态推断框架并使用两个知名的骨干卷积神经网络，证明了新方法的优越性。

Feb, 2020

被注意力背叛：一种简洁而有效的自监督视频对象分割方法

我们提出了一个简单而有效的方法来进行自监督视频对象分割 (VOS)。我们的关键观点是，DINO 预训练的 Transformer 中具有的固有结构依赖性可以用于建立视频中的稳健时空对应关系。此外，利用这种对应线索进行简单的聚类就足以产生具有竞争力的分割结果。我们开发了一个简化的架构来应对这些挑战，利用 DINO 预训练的 Transformer 中新兴的对象性，避免了使用额外的多模态或槽关注的需要。我们的方法在多个无监督 VOS 基准测试中展示了最先进的性能，特别在复杂的现实世界多对象视频分割任务中表现出色，如 DAVIS-17-Unsupervised 和 YouTube-VIS-19。

Nov, 2023

关系动作预测

本文旨在研究视频中多人行为预测。文章提出了一种 Discriminative Relational Recurrent Network 模型，通过构建循环图形式对不同演员之间的时空相互作用进行联合建模，从而在不需要显式监督的情况下，学习选择相关性。该方法在 AVA 数据集上预测动作的评估和 J-HMDB 任务的性能都有显著提高。

Apr, 2019

视频帧瞥片段的端到端动作检测学习

该研究提出了一种直接预测动作时间边界的完全端到端的方法，其中模型作为一个基于循环神经网络的智能体与视频交互，并使用 REINFORCE 来学习决策策略，取得了 THUMOS'14 和 ActivityNet 数据集的最先进结果。

Nov, 2015

D2-Net: 通过判别嵌入和去噪激活进行弱监督行动定位

本文提出了一种名为 D2-Net 的弱监督时间动作本地化框架，其尝试使用视频级监督来对动作进行时间定位。其中，我们的创新主要体现在引入了一个新的损失函数，该函数通过联合增强潜在嵌入的可区分性和输出时间类别激活的鲁棒性，从而应对弱监督引起的前景背景噪声。通过综合多个基准测试数据，包括 THUMOS14 和 ActivityNet1.2，我们的 D2-Net 方法在所有数据集上表现良好，其 mAP 在 IoU = 0.5 时可以达到 2.3% 的提高。

Dec, 2020