开发了一个动作条件视频预测模型，能够显式地模拟像素运动，从而学习关于物理对象运动的知识。同时，模型对对象外貌部分不变，可对以前未见过的对象进行推广。我们介绍了一个包含推动动作的59,000个机器人交互数据集，包括一个具有新颖对象的测试集。实验结果表明，与现有方法相比，我们的方法在定量和定性方面都能更准确地预测视频。

May, 2016

本文提出了一种使用自监督对应关系用于提高视运动策略学习的泛化性能和样本效率的方法，并通过模仿学习演示了在挑战性的操作任务中使用少量演示即可实现广泛的硬件验证。

Sep, 2019

本文介绍了一种用于视觉模仿学习的简单方法，可以从一个人类演示中学习机器人操作任务，而无需先前了解与对象的交互情况，并且可以通过自监督学习进行训练。在实现过程中，该方法将模仿学习建模为状态估计问题，以目标交互开始时末端执行器的姿态作为状态，在自监督训练过程中让末端执行器的摄像头围绕对象自动移动。 最终，在测试时，机器人通过一条线性路径移动到预测的状态，然后简单地重放演示的末端执行器速度，从而获得了一个复杂的交互轨迹，而无需明确学习策略。在常见的8个任务上进行的实现结果表明，这种方法可以从单个人类演示中学习出多样的技能，并产生稳定且可解释的控制器。

May, 2021

本研究使用视觉契合技术，通过预测关键点的接触信息，提出了一种端到端的控制策略学习框架，可以实现在不同类型的操纵任务中的泛化。结果显示，我们的算法在成功率上大大优于基线算法，包括基于视觉契合和强化学习方法。

Sep, 2022

提出了基于PLEX架构的机器人操作学习方法，该方法通过任务无关的视觉运动轨迹和大量的对象操作视频训练机器人学习任务无关的多任务策略，并在相应实验中展示了其在机器人学习中的高效性能。

Mar, 2023

在协作人机操纵中，机器人必须预测人类意图并相应地调整动作以顺利执行任务。本研究通过利用人机动作之间的对应关系，提出了一种新颖的架构 InteRACT，通过在大规模人机数据集上预训练条件意图预测模型并在小规模人机数据集上微调，评估了一组真实世界的协作人机操纵任务，并证明了我们的条件模型优于各种边缘基线模型。还引入了一些新技术来远程操作一个具有七自由度的机器人臂并收集了各种各样的人机协作操纵数据，该数据已开源。

Nov, 2023

在这篇论文中，我们提出了一种视觉-运动策略学习框架，该框架在给定任务的人类示范中对视频扩散模型进行微调。在测试阶段，我们生成了一个以新颖场景的图像为条件的任务执行示例，并直接使用这个合成的执行结果来控制机器人。我们的主要观点是，使用常用工具可以轻松地弥合人手和机器人操作者之间的具身隔阂。我们在四个复杂度不断增加的任务上评估了我们的方法，并证明利用互联网规模的生成模型使得学习策略可以比现有行为克隆方法实现更高程度的泛化。

Jun, 2024

本研究解决了机器学习在机器人操作中的普适性和适应性问题，提出了一种利用现实视频生成传感器-运动机器人轨迹的新方法。通过在共享3D空间中提升人手和被操作物体，研究显示对基于这一生成模型的政策进行微调，可以实现高效的样本适应，同时提高适用性和鲁棒性。

Sep, 2024

本研究解决了机器人学习中缺乏大规模领域内数据集的问题。我们提出了一种名为操作中心化表示（MCR）的框架，通过结合视觉特征和任务动态信息，显著提高了机器人操作任务的成功率。实验证明，MCR在模拟和现实任务中的性能提高超过14%和76%，展示了其在高效学习中的潜在影响。

Oct, 2024

本研究解决了机器人学习中缺乏大规模领域特定数据集的问题。提出了一种新的操作中心表示（MCR）框架，通过捕捉操作任务的视觉特征和动态信息来提高表现，实验证明MCR在多个模拟领域的任务中表现超越基线方法14.8%，并在现实世界任务中提升性能76.9%。

Oct, 2024