无监督关键点学习用于指导类别条件视频预测

Oct, 2019

无监督关键点学习用于指导类别条件视频预测

Unsupervised Keypoint Learning for Guiding Class-Conditional Video Prediction

Yunji Kim, Seonghyeon Nam, In Cho, Seon Joo Kim

TL;DR本文提出一种以单个图像和动作类别为条件的深度视频预测模型，通过检测物体关键点并将关键点序列预测为未来运动，然后通过平移输入图像来生成未来帧。该方法通过无监督方式训练来检测任意对象的关键点，并使用原始视频的检测关键点作为伪标签学习物体运动，实验结果表明，我们的方法可以应用于各种数据集，而不需要对视频中的关键点进行标注，检测到的关键点类似于人工标注的标签，并且与以前的方法相比，预测结果更加真实。

Abstract

We propose a deep video prediction model conditioned on a single image and an action class. To generate future frames, we first detect keypoints of a moving object and predict future motion as a sequence of keypoints. The input image is then translated following the predicted keypoints

deep video prediction keypoint detection object motion unsupervised learning pseudo-labels

发现论文，激发创造

无监督学习视频中的可解释关键点

本文提出了 KeypointGAN 方法，通过从未标注的视频和基于弱领域先验知识的学习，仅使用单个图像就可以识别物体的姿态，利用一个新的物体的双重表示方法，并且这种方法可以在不使用标注图像的情况下获得最新的成果。

Jul, 2019

从视频中无监督学习物体结构和动力学

本研究针对无监督的视频对象结构和动态提取及预测的挑战，采用基于关键点的图像表示方法，并在关键点的动力学模型上进行学习，以实现像素空间中的稳定学习和错误复合的避免。该方法在像素级视频预测和需要物体级运动动态理解的下游任务方面均优于非结构化表示，并在多个数据集和任务中进行了评估和验证。

Jun, 2019

关键点预测下的目标姿态自监督学习

本文提出了一种基于自监督学习的关键点预测方法来进行相机位姿预测及三维目标物体的在线重建的深度学习网络，并在几个数据集上进行了实验，取得了显著的改进。

Feb, 2023

通过视频预测进行物理交互的无监督学习

开发了一个动作条件视频预测模型，能够显式地模拟像素运动，从而学习关于物理对象运动的知识。同时，模型对对象外貌部分不变，可对以前未见过的对象进行推广。我们介绍了一个包含推动动作的 59,000 个机器人交互数据集，包括一个具有新颖对象的测试集。实验结果表明，与现有方法相比，我们的方法在定量和定性方面都能更准确地预测视频。

May, 2016

基于骨架的非监督动作识别和聚类

我们提出了一种新颖的无监督骨架动作识别系统，该系统基于编码器 - 解码器递归神经网络，可以无需提供任何标签或摄像头深度输入，并可在各维度的身体关键点（2D 或 3D）和附加提示描述移动的情况下操作，并将其与最新的无监督骨架方法进行比较。方法表现出更好的交叉视图性能，且与有监督骨架动作识别表现相似。

Nov, 2019

行为视频中的自监督关键点发现

该研究提出了一种基于 B-KinD 方法的自监督学习方法，使用编码器 - 解码器架构重建视频帧之间的时空差异，仅关注移动区域，探索语义意义的身体部位，可用于昂贵的监督学习替代方案。

Dec, 2021

基于关键点的视频理解中，学习更高阶的物体交互

本文介绍了一种名为 KeyNet 的行动定位方法，仅利用基于目标的关键点数据来捕获场景中的上下文，从而在不使用任何 RGB 信息的情况下从对象和人类关键点中建立结构化中间表示，演示了如何从对象关键点中建模以恢复使用 AVA、动力学数据集上的关键点信息造成的上下文损失。

May, 2023

高效视频预测的精准格点学习

该论文提出了一种新的网格关键点学习框架，通过引入随机性，生成长期高质量预测，有效地降低计算资源消耗，并在机器人辅助手术数据集上验证了该方法的有效性。

Jul, 2021

预测可能的运动模式进行无监督的多目标分割

该论文提出了一种新的无需人工干预的多物体图像分割方法，该方法可以从静止图像中提取物体，但使用视频进行监督学习，其关键洞察是预测可能包含运动模式的图像区域，超越了测试时间使用运动的方法，在模拟和真实世界基准上显示出最先进的无监督目标分割性能。

Oct, 2022

姿势来自动作：基于运动的无监督学习姿势特征

本文提出了一种从视频中自动学习姿态特征的无监督方法，该方法利用了动作信号这一与外貌互补且可用于监督的信号，使用一个外貌卷积神经网络和一个运动卷积神经网络来表示姿态和生成动作编码，通过在 FLIC、PASCAL、UCF101 和 HMDB51 数据集上的 fine-tuning 实验证明了其在静态图像动作识别和视频动作识别方面的优越性。

Sep, 2016