本研究提出了一种新颖的自监督学习方法来学习对于动态运动变化有响应的视频表征，通过训练神经网络来区分不同的时间变换的视频序列，使得无需人工标注数据即可准确地识别视频中的不稳定运动并增强神经网络在小数据集上的训练。该方法经过实验证明，可显著提高 UCF101 和 HMDB51 上的动作识别的传递性能。

Jul, 2020

利用背景场景和移动物体的非刚性变形和仿射变换对未来视频帧进行预测，实现较低的变形失真，并在 Cityscapes 和 KITTI 数据集上呈现更高的视觉质量和准确性。

Apr, 2020

提出了一个以变换的群属性为基础的运动模型，使用它训练了一个图像运动的表示方法。使用此方法训练的深度神经网络对合成的 2D 序列和真实世界的车辆运动序列都捕捉到了运动特征；在车辆运动的背景下，此方法提取了用于定位、跟踪和测距的信息。这一表示方法在很难获取明确标签的情况下学习运动非常有用。

Dec, 2016

本研究提出了一种新颖的方法，用于在视频生成中进行运动定制，解决了视频生成模型中对运动表示的彻底探索的普遍差距。我们介绍了 Motion Embeddings，这是从给定视频中衍生出的一组明确、时间连贯的一维嵌入，旨在与视频扩散模型的时间转换模块无缝集成，通过调节帧间的自注意力计算而不损失空间完整性。我们的方法提供了一种简洁高效的运动表示解决方案，并通过在嵌入空间中进行向量运算，实现了对运动特征的复杂操作定制。此外，我们还发现了视频生成模型中的时间差异，指的是不同运动模块处理帧间时间关系的变化。我们利用这种理解来优化我们的运动嵌入集成。我们的贡献包括为定制任务引入定制运动嵌入、揭示视频模型中的时间处理差异以及通过大量实验证明我们方法的实际优势和有效性。

Mar, 2024

本研究提出使用可微的物理引擎在行动条件下的视频表示网络中学习物理潜在表示。我们使用监督和自监督学习方法来训练我们的网络，并确定物理属性。实验中，我们演示了我们的网络可以从视频和行动序列中学习编码图像并识别物理属性，我们还比较了我们的受监督和自我监督方法的准确性，并展示了我们的方法预测未来视频帧的能力。

Sep, 2020

本研究提出了一个简单而有效的框架，可以通过利用前序训练数据中的潜在分布来预测合理的未来态势。该框架融合了一种新颖的优化方案，并且在量化和定性方面的实验中得到了显著的提高。同时，我们的方法可以与现有的随机预测模型无缝集成，具有预测未见类别运动的潜力。

Jul, 2020

本研究提出了一种基于场景物体的运动特征的像素级未来预测方法，采用隐式预测物体的未来状态并考虑它们之间的相互作用，通过全局轨迹水平的潜在随机变量对任务多模态进行克服，并在两个数据集上进行了实证验证。

Aug, 2019

通过自然语言将运动特征量化为可解释的方式，并测量其在隐藏状态中的嵌入程度，从而使我们能够控制基于 Transformer 的运动预测模型的文本输入，为与这些模型进行交互和理解提供独特的界面。

Jun, 2024

本文提出了一种自监督学习的方法，通过在压缩视频中提取关键帧和动态向量来分别监督上下文和动态信息，并同时设计了两种预设任务，即上下文匹配任务和动态预测任务，以提高视频表示的质量和行动识别准确性。

Apr, 2021

该研究介绍了一种通过给定外观和运动条件生成未来图像的方法，在条件不确定性下有着很好的表现，通过开发创新的条件方案，结合对外观和动作的识别，能够更好地进行视频预测，已在面部表情和人类动作数据集上进行了验证。

Jul, 2018