本文考虑了一个代理与未知和不确定的外部世界交互的情况，我们展示了预测了代理身体固有信息的模型会代表外部世界的对象，并通过积极预测身体信号来学习动态模型的过程具有优异的控制性能，此外还展示了使用相同模型可以回答关于真实世界中对象属性的问题。

Apr, 2018

本文介绍了一种基于视觉交互网络的模型，能够从原始视觉观察数据中学习物理系统的动力学，在复杂的物理环境中支持基于模型的决策制定和规划。该模型由基于卷积神经网络的感知前端和基于交互网络的动力学预测器组成，支持从少量视频帧生成准确的未来轨迹预测。

Jun, 2017

本论文提出一种基于无标注训练数据的方法，结合深度动作条件视频预测模型和模型预测控制，使真实机器人能够进行非抓取操作，比如推动物体，并且可以处理训练过程中没有出现过的新物体。

Oct, 2016

本文提出了一种方法，通过视觉和物理交互数据分类表面，以使机器人更好地了解物体的触觉特性；通过统一学习物理交互和视觉观察特征的方法，使用深度神经网络模型实现更准确的触觉分类。

Nov, 2015

本论文探究将触觉感应应用于物理机器人相互作用的视频预测模型，结果表明增加触觉反馈有助于提高场景预测准确性和增强机器人在物理相互作用过程中的感知和理解能力。

Apr, 2023

该研究旨在通过学习使用感知运动基元来解决复杂的长期规划操作问题，其需要将基本技能组合成新的技能来推广应用于广泛的问题中，同时使用高效的主动学习和采样方法，将学习和规划方法结合来规划各种复杂的动态操作任务。

Jun, 2020

通过使用深度预测策略训练框架，该研究提出了一种有效的方法来训练预测动作策略，使用合成和模拟训练样本来强制进行视觉和运动数据的抽象，以及使用策略搜索强化学习方法来训练每个任务的策略超层，该框架在 PR2 机器人上训练物体抓取和投球等技能任务，并且训练样本只使用了约 180 次实际机器人尝试，达到了很好的效果。

Mar, 2017

开发了一个动作条件视频预测模型，能够显式地模拟像素运动，从而学习关于物理对象运动的知识。同时，模型对对象外貌部分不变，可对以前未见过的对象进行推广。我们介绍了一个包含推动动作的 59,000 个机器人交互数据集，包括一个具有新颖对象的测试集。实验结果表明，与现有方法相比，我们的方法在定量和定性方面都能更准确地预测视频。

May, 2016

在三维模拟环境中，提出了一种传感器运动控制的方法，它通过高维和低维度测量流来提供丰富的监管信号进行训练，并利用协同时间结构进行监督学习，无需外部监管即可学习三维环境的原始感官输入，其结果显示其学习效果优于先前复杂的公式，尤其适用于具有挑战性的任务。

Nov, 2016

本研究将因果发现方法应用于人机空间相互作用建模，从真实世界的传感器数据中尝试理解人类行为，提高服务机器人场景的预测准确性。

Oct, 2022