通过机器学习技术，训练视觉和物理多物互动理解的模型，并开发了一个基于样本的优化器来实现复杂的工具使用任务，实验表明目前此方法可以通过原始像素输入解决多种复杂的工具使用任务，能够感知和使用新的对象作为工具，同时根据需要灵活选择是否使用工具。

Apr, 2019

本文介绍了一种使用局部操纵来学习自然外观的全局关节，训练只需要移动物体的视频，而不需要了解物理场景底层的操纵。通过学习物体动力学的生成模型，响应用户互动，并了解相互关联的不同物体部位，该方法预测了静态图像和像素局部操纵后物体弯曲的时间变化，并实现了变形的局部交互控制，可针对不同类型的物体进行转移。与现有的视频预测相比，我们的模型不合成任意逼真的视频，而是提供对变形的局部交互控制。通过对不同物体的广泛实验，证明了我们的方法相比于常见的视频预测框架的有效性。

Jun, 2021

本研究使用违反期望的技术（VOE）将儿童物理学习知识测试方法应用于人工深度学习系统，探讨相关图像化物理概念从感官数据中提取的方法，并介绍了一个受发展心理学启发的探测数据集。结果表明 VOE 技术可以为未来的物理学知识研究提供有用的工具。

Apr, 2018

本文综述了基于直觉物理的深度学习方法在物理推理方面的最新进展和技术。将现有的深度学习技术分为三个方面的物理推理，并将其组织为三种一般的技术方法，提出了该领域的六个分类任务。最后，本文强调了当前领域的挑战并提出了一些未来的研究方向。

Feb, 2022

本文介绍了 iPOKE 的方法，它基于一种双向匹配的思想，计算出对象的运动与未来的图像序列之间的关系，并能够建立对应的图像，实现了对对象的控制运动。

Jul, 2021

本文提出 DensePhysNet 对于机器人物体操纵的物理表示的学习方法，通过动态交互序列和深度预测模型学习密集的像素表示，可以直接解码物理物体属性，并在下游任务中实现更精确和更有效的操纵。

Jun, 2019

通过与 AI2-THOR 环境的互动，实现基于人类婴儿学习机制的计算框架，不依赖外部监督学习，从而有效地发现物体并学习物理特性。

Jun, 2020

通过在 Baxter 平台上对对象进行推动、捅戳、抓取和观察等四种不同类型的物理交互来提供学习视觉表示的有效监督，本文使用共享的 ConvNet 体系结构学习了视觉表示，并通过观察神经元活化和最近邻检索来展示所学习的表示的质量，从而在图像分类任务中显示出与学习外部数据相比的改进，在实例检索任务中，本文的网络在回忆率 @1 上比 ImageNet 网络高 3%

Apr, 2016

机器人在开放环境中操作时，会遇到未知的物理特性的新对象，需要通过交互来感知这些特性，并利用生成的世界模型来估计物体的物理参数，并开发一种信息收集模型预测控制器，以自主学习触觉探索策略。我们的研究在虚拟环境中评估了这种方法，发现我们的方法能够以直观的方式高效地收集关于所需特性的信息。最后，我们在真实机器人系统上验证了我们的方法，成功地从零开始学习和执行信息收集策略以估计物体的高度。

Nov, 2023

本文介绍了一种模拟人类学习为非线性动力学系统的新方法，以监督机器人如何影响人类内部模型的变化，并通过嵌入人类学习动态模型到机器人规划问题中来实现。我们提供了一个折衷方案，以牺牲所能代表的人类内部模型的复杂性为代价，使机器人能够学习这些内部模型的非线性动力学。在一系列模拟环境和面对面的用户研究中，我们评估了我们的推断和规划方法，表明机器人对人类学习的影响是可能的，并且可以在真实的人机交互中有所帮助。

Jan, 2023