Gradient-based algorithms are crucial to modern computer-vision and graphics
applications, enabling learning-based optimization and inverse problems. For
example, photorealistic differentiable rendering pipelines for color images
have been proven highly valuable to applications aiming
本文提出 gradSim 框架，通过可微分的多物理模拟和可微分的渲染来联合模拟场景动态和图像生成的演化，从而将像素级反向传播到生成它们的基础物理属性，以实现对物体质量、摩擦力和弹性等物理属性的直接估计。该框架克服了 3D 监督的依赖，并在具有挑战性的视觉运动控制任务中获得了具有竞争力甚至比依赖于精确的 3D 标签的技术更好的性能。