本研究针对无监督的视频对象结构和动态提取及预测的挑战，采用基于关键点的图像表示方法，并在关键点的动力学模型上进行学习，以实现像素空间中的稳定学习和错误复合的避免。该方法在像素级视频预测和需要物体级运动动态理解的下游任务方面均优于非结构化表示，并在多个数据集和任务中进行了评估和验证。

Jun, 2019

我们提出了一个框架，旨在学习两个连续时间步骤中观察到的图像之间的基本动态。通过估计图像演化的中间阶段，我们的方法关注在保持图像的空间相关性的同时提供可解释性，并通过偏微分方程中表示的物理模型引入潜在动态学变量，确保了所学模型的可解释性并提供了相应图像动态的洞察力。通过对地球科学图像数据进行一系列数值测试，我们证明了我们学习框架的鲁棒性和有效性。

Oct, 2023

本文提出了一种无监督表征学习方法，可以紧凑地编码视频中的运动依赖。利用 RNN Encoder-Decoder 框架预测序列化的原子级 3D 流，以有效地减少学习框架的复杂性。该方法可以用于运动分类和识别等多种应用。

Jan, 2017

本研究提出了一种新颖的自监督学习方法来学习对于动态运动变化有响应的视频表征，通过训练神经网络来区分不同的时间变换的视频序列，使得无需人工标注数据即可准确地识别视频中的不稳定运动并增强神经网络在小数据集上的训练。该方法经过实验证明，可显著提高 UCF101 和 HMDB51 上的动作识别的传递性能。

Jul, 2020

我们提出了一种物体为中心的模型，使用图神经网络中的对比学习在潜在空间中预测未来的状态，并注入了显式归纳偏置以帮助提高模型的预测准确性。我们的模型不仅可捕捉物体交互作用，而且能够提高物体位置的定位能力，且实验表明我们的模型在多个领域中具有显著的优势。

Jul, 2021

本篇研究提出了一种新的基于条件运动传播和稀疏光流技术的自监督学习范式，能够有效地学习视觉表征，并在语义分割、实例分割以及人体解析等多个任务上实现最先进的自监督学习表现，还能实现半自动像素级标注。

Mar, 2019

该论文提出了一种基于扩散模型的方法，用于在跨域和跨主体领域中提高神经人口活动的对齐质量，维护潜在动态的时空结构，并实现超过现有方法的对齐质量。

Jun, 2023

我们通过集成演示学习（LfD）到运动生成过程中，在复杂环境中（包括障碍物、通过点等）解决了高自由度机械臂的运动生成问题。我们通过在大规模模拟轨迹数据集上训练一个基于条件变分自动编码器变压器的结构，学习了关键的运动生成技能，并将其适应辅助任务和约束条件。我们的自回归方法实现了来自物理系统的实时反馈整合，增强了运动生成的适应性和效率。我们表明，我们的模型可以从初始点和目标点生成运动，同时也能够适应复杂任务的轨迹规划，包括障碍物避让、通过点和速度、加速度限制，在多种平台上实现。

Mar, 2024

本论文提出了一种自监督生成建模框架，用于联合学习多模态数据的概率潜在状态表示和相应的动态，并且该方法在机器人学方面有显著的预测和表示质量改进。

Apr, 2022

Neural Marionette 是一种无监督学习方法，可以从动态序列中发现骨架结构，学会生成与观察到的运动动态一致的多样化运动，无需先验知识，可泛化到多模态序列生成、两个姿势的插值和运动重新定向。

Feb, 2022