通过一个基于视频的条件学习智能体（ViP）方法，本文提出了一种无需训练数据就能够通过人类演示来控制机器人操作的方法，该方法在多项机器人操作环境中的表现优于现有技术，并在新的零样本设置中展现出良好的性能，可能具有广泛的应用前景。

May, 2023

本论文提出一种基于无标注训练数据的方法，结合深度动作条件视频预测模型和模型预测控制，使真实机器人能够进行非抓取操作，比如推动物体，并且可以处理训练过程中没有出现过的新物体。

Oct, 2016

开发了一个动作条件视频预测模型，能够显式地模拟像素运动，从而学习关于物理对象运动的知识。同时，模型对对象外貌部分不变，可对以前未见过的对象进行推广。我们介绍了一个包含推动动作的 59,000 个机器人交互数据集，包括一个具有新颖对象的测试集。实验结果表明，与现有方法相比，我们的方法在定量和定性方面都能更准确地预测视频。

May, 2016

对于图像和语言生成模型的视觉和语言生成模型，我们提出了一种新的框架和流程来彻底评估生成视频的性能，并通过系数对齐目标度量与用户意见，以获得模型的最终排行榜。

Oct, 2023

该研究探索了如何利用半监督式模仿学习的方法，在游戏领域中通过预训练行为先验模型来实现强化学习，从而达到人类甚至更高的行为水平。

Jun, 2022

通过自然语言引导视频预测，我们提出了一种新的视觉预测结构，使得计算机可以通过语言输入来分解高级任务计划，并且使用预先训练好的 transformers 使得模型具有一定的任务泛化能力，实验表明，这种结构相对于不具有任务规划或动作引导的基线模型具有显著优势，并且通过深入研究发现语言嵌入技术对于任务泛化能力的提升非常重要。

Oct, 2022

该研究探讨了以特征预测作为无监督学习的独立目标，并介绍了 V-JEPA，一个仅使用特征预测目标进行训练的视觉模型集合，无需预训练图像编码器、文本、负样本、重建或其他监督方式。我们的研究结果表明，通过预测视频特征进行学习可以得到性能良好的通用视觉表示，适用于运动和外观相关的任务，无需调整模型参数，如冻结骨干网络。我们最大的模型，即仅使用视频进行训练的 ViT-H/16，在 Kinetics-400 上获得 81.9% 的准确率，在 Something-Something-v2 上获得 72.2% 的准确率，在 ImageNet1K 上获得 77.9% 的准确率。

Feb, 2024

该研究旨在通过直接进行视频预测来实现自监督机器人学习，通过引入具有时间跳转连接的视频预测模型和新颖的规划准则和行动空间公式，研究表明该模型在机器人操作中具有很好的性能。

Oct, 2017

本文回顾了用于视频序列预测的深度学习方法，定义了视频预测的基础知识、强调其对表示学习的潜在能力和现有的方法，并提供了数据集和实验结果，以评估其在定量基础上的最新技术进展。最后，总结了这一领域的一般结论、未来的研究方向和挑战。

Apr, 2020

该研究提出了一个基于虚拟世界的视觉感知基准测试套件，通过对超过 250,000 个高分辨率视频帧的低层次和高层次的视觉任务进行全面地注释，并针对多个任务分析了最先进方法的表现，提供参考基线和突出未来研究的挑战。

Sep, 2017