视频的无监督学习长期运动动态

CVPRJan, 2017

Unsupervised Learning of Long-Term Motion Dynamics for Videos

Zelun Luo, Boya Peng, De-An Huang, Alexandre Alahi, Li Fei-Fei

TL;DR本文提出了一种无监督表征学习方法，可以紧凑地编码视频中的运动依赖。利用 RNN Encoder-Decoder 框架预测序列化的原子级 3D 流，以有效地减少学习框架的复杂性。该方法可以用于运动分类和识别等多种应用。

Abstract

We present an unsupervised representation learning approach that compactly encodes the motion dependencies in videos. Given a pair of images from a video clip, our framework learns to predict the long-term 3D motions. To reduce the complexity of the learning framework, we propose to de

unsupervised representation learning 3d motion prediction rgb-d modality recurrent neural network activity classification

发现论文，激发创造

通过识别时间转换进行视频表示学习

本研究提出了一种新颖的自监督学习方法来学习对于动态运动变化有响应的视频表征，通过训练神经网络来区分不同的时间变换的视频序列，使得无需人工标注数据即可准确地识别视频中的不稳定运动并增强神经网络在小数据集上的训练。该方法经过实验证明，可显著提高 UCF101 和 HMDB51 上的动作识别的传递性能。

Jul, 2020

从视频中学习三维人体动力学

通过观察人类运动的视觉序列，我们可以轻松猜测人在过去和未来的 3D 运动。我们提出了一个可以学习人类 3D 动力学表示的框架，通过简单而有效的图像特征时间编码。在测试过程中，学习到的时空表示能够预测具有平稳性的 3D 网格。我们的模型可以从单个图像中恢复当前的 3D 网格以及它未来和过去的 3D 运动，同时也可以通过半监督学习从带有 2D 姿态标注的自然视频中学习。我们通过对来自互联网海量未标记数据的模型训练，通过已有的 2D 姿态检测器得到伪基础真值 2D 姿态，证明了我们的模型可以自举学习并在三维动作预测任务中获得最新的性能。

Dec, 2018

从视频中无监督学习物体结构和动力学

本研究针对无监督的视频对象结构和动态提取及预测的挑战，采用基于关键点的图像表示方法，并在关键点的动力学模型上进行学习，以实现像素空间中的稳定学习和错误复合的避免。该方法在像素级视频预测和需要物体级运动动态理解的下游任务方面均优于非结构化表示，并在多个数据集和任务中进行了评估和验证。

Jun, 2019

一次性进行的无监督运动分割：对视频进行平滑长期建模

提出了一种基于长期时空模型的运动分割方法，该方法通过处理光流场序列，以无监督学习的方式提供视频中一致运动的分段，为计算机视觉任务和无监督视频表示学习提供了先决条件。

Oct, 2023

神经木偶：从体积视频中无监督学习动作骨骼和潜在动力学

Neural Marionette 是一种无监督学习方法，可以从动态序列中发现骨架结构，学会生成与观察到的运动动态一致的多样化运动，无需先验知识，可泛化到多模态序列生成、两个姿势的插值和运动重新定向。

Feb, 2022

从立体视频中学习残差流作为动态运动

通过无监督学习框架，我们提出了一种将运动立体相机观察到的 3D 场景流分解为静止场景元素和动态物体运动的方法。我们利用三个协同工作的网络来预测立体匹配、相机运动和残留流，并明确估计基于残留流和场景深度的动态物体的 3D 场景流。在 KITTI 数据集上的实验表明，我们的方法在光流和视觉里程计任务上优于其他现有算法。

Sep, 2019

RM-Depth：动态场景下基于循环结构的单目深度非监督学习

该论文提出了一种无监督学习框架，通过使用逐步的递归调整和融合编码器和解码器特征来提高单张图像的深度推断，并使用多组滤波器用于残差上采样来学习保持边缘的滤波，使用基于自运动恢复的网络来估计移动对象的移动场，并进一步通过采用鲁棒训练损失对模型中参数的使用进行优化，该模型结构只使用单张图像在测试时间中，模型参数仅有 2.97 百万个，但却在 KITTI 和 Cityscapes 基准测试中实现了最先进的结果。

Mar, 2023

通过密集轨迹聚类进行视频表征的非监督学习

本文提出了一个基于无监督学习的方法来学习视频中的动作识别表示，该方法结合图像表示中的两种顶级目标 —— 实例识别和局部聚合，以及通过 IDT 描述符构成的集群。使用此方法，我们在 UCF101 和 HMDB51 动作识别基准测试中取得了优异的结果，并且成功捕捉了视频动态。

Jun, 2020

无监督学习视角不变动作表示

提出一种无监督学习框架，利用未标记的数据来学习视频表示，通过学习推断不同视图的三维运动，捕捉视角不变的动作特征，以及增强视角不变特征的学习方法，并在多个数据集上证明该方法对动作识别的有效性。

Sep, 2018

视频自编码器：静态三维结构和运动的自我监督解缠

本论文提出了一个自监督学习的视频自编码器，能够从视频中学习出 3D 结构和相机姿态的解耦表示，通过重组这些表示来实现诸如新视角合成、相机姿态估计以及运动跟踪的任务。

Oct, 2021