一种使用 Bird's Eye View 图像作为中间表示的系统，在模拟器中训练并能够通过零样本转移到真实世界，在真实世界环境中通过 Anchor 图像和混合密度 LSTM 增强鲁棒性，通过 Differential drive 机器人在 CARLA 模拟器中的训练和部署证明了该方法的有效性，并公开了相关代码、数据集和模型。

Oct, 2023

本文研究了如何在稀疏交互的情形下，通过学习从感官输入中生成世界模型的方法，提高在具有许多物体的环境中的运动样本效率。我们提出了一种称为变分稀疏门控的潜在动力学模型和简化架构，并在具有大量移动对象和部分可观测性的 BringBackShapes 环境中进行了评估，表明这种方法可以优于之前的模型。

Oct, 2022

本文提出了一种基于模拟驱动的反推算法来模拟树枝的联合动力学，通过学习分支动力学和获得操作可变形植被的能力来帮助解决果实采摘等容易被遮挡的任务，在密集植被中进行导航。我们的非参数推断算法通过基于 Stein 可变梯度下降的神经网络驱动自适应学习的联合先验，通过有限差分方案的梯度逼近，将统计模型、参考轨迹和贝叶斯形式结合起来，实现了弹簧参数后验概率密度估计，可以准确预测变形轨迹，量化估计不确定性，并且具有强的鲁棒性，适用于存在异方差传感器噪声的情况，并且可以泛化到未见过的抓握位置。

Jun, 2023

通过视觉粒子动力学以及端到端学习的方式，我们提出了一种从观测数据中直接学习模拟器的方法，避免了对特殊的信息的依赖，从而实现更加真实可信的仿真。这一方法的 3D 结构使得场景编辑和长期预测成为可能，为视频编辑和机器人规划等应用提供了新的路径。

Dec, 2023

本文介绍了一种简单的方法来解决在模拟训练中的现实差距问题。通过在训练过程中随机化模拟器的动力学，我们能够开发出适应非常不同的动力学的策略，并且使其在真实世界中推广而不需要在物理系统上进行训练。在机器人控制方面，我们的方法在物体推动任务上表现出了很好的性能。

Oct, 2017

BayesSim 是一个机器人模拟框架，采用贝叶斯处理参数不确定性，可以用于解决动作规划和感知问题。通过在未知参数的基础上对黑匣子模拟器进行无似然推断，可以获得后验分布，并用于模拟现实情况。实验表明，BayesSim 的效果比基于均匀先验随机的方法更加优秀。

Jun, 2019

本文研究了如何将在模拟中成功的控制策略推广到实际机器人上，通过计算模拟根据该策略期望的状态并利用深度逆动力学模型决定哪种真实世界的控制动作最适合实现这些状态，同时提出了一种数据收集方法（逐步）学习深度逆动力学模型。

Oct, 2016

本文提出 gradSim 框架，通过可微分的多物理模拟和可微分的渲染来联合模拟场景动态和图像生成的演化，从而将像素级反向传播到生成它们的基础物理属性，以实现对物体质量、摩擦力和弹性等物理属性的直接估计。该框架克服了 3D 监督的依赖，并在具有挑战性的视觉运动控制任务中获得了具有竞争力甚至比依赖于精确的 3D 标签的技术更好的性能。

Apr, 2021

将自我监督视觉里程计（VO）集成到动态高斯方法（VDG）中，从而提升了定位和深度初始化以及静态 - 动态分解，VDG 可以只使用 RGB 图像输入，在更快的速度和更大的场景下构建动态场景，并在大量定量与定性实验中展示了对于现有动态视图合成方法的优越性能。

Jun, 2024

本文介绍了一个基于约束的机器学习模拟框架，使用图神经网络实现约束函数，并通过求解优化问题计算未来预测，可应用于多种具有挑战性的物理领域，提供了传统模拟和数值方法的归纳偏差。

Dec, 2021