3D 互动和 4D 内容的创作是具有挑战性的，通过动画模拟物理场景或学习静态 3D 物体的变形，结合视频生成模型，我们提出了 DreamPhysics 方法，通过视频扩散先验来估计 3D 高斯光斑的物理属性，以优化物理参数实现逼真的运动，实验证明通过视频扩散模型的先验知识，可以逐渐提高物理模拟的质量。

Jun, 2024

本文提出了一种名为 VRDP 的统一框架，可以从视频和语言中联合学习视觉概念，并推断对象及其交互的物理模型，通过无缝集成三个组成部分：视觉理解模块、概念学习器和可微分的物理引擎。

Oct, 2021

本文提出了一种统一框架 - 动态概念学习者（DCL）用于从视频及自然语言文本中，对物理对象和事件进行建模，其中 DCL 采用轨迹提取器来追踪每个物体随时间的变化并将其表示为一种潜在目标中心的特征向量，并进一步将物体集成到图形网络中学习物体之间的动态交互关系，最终通过语义分析器解析问题并执行执行器来回答问题，该方法在 CLEVRER 数据集上实现了 state-of-the-art 的表现。

Mar, 2021

通过 Vision-Language Models Goes 4D (VG4D) 框架，我们将 VLM 知识从视觉 - 文本预训练模型转移到 4D 点云网络中，实现了增强的识别性能。我们还提出了改进的 PSTNet 版本 im-PSTNet 来增强 4D 编码器，并通过实验证明了我们方法在动作识别方面达到了最先进的性能。

Apr, 2024

该研究介绍了一种名为 Newtonian Neural Network 的中间物理抽象概念，可以从静态图像中学习物体的动态运动以及感受上的力。通过新构建的 Visual Newtonian Dynamics 数据集测试，显示该方法能够可靠地从单个图像中预测查询物体的动态，并支持以速度和力向量的方式进行预测的物理推理。

Nov, 2015

我们提出了一种将 4D 动态物体先验知识注入到学习的 3D 表示中的方法，并利用合成的 3D 形状和对比学习在 3D-4D 约束下进行数据增强，在下游的 3D 语义场景理解任务中，能够有效地提高表现。实验证明，我们的无监督表示学习方法能够在下游的 3D 语义分割、物体检测和实例分割等任务中表现出色，并且在数据稀缺的情况下显著提高了性能。

Dec, 2021

这篇论文提出了使用多视角视频进行无监督 4D 视觉场景理解的方法，可以同时估计每个像素的具体模型和实例级别分割，并利用最近的 3D 姿势估计技术约束联合语义实例分割和 4D 时间上连贯的重建，以能够精准地分割多个动态场景中相互作用的人，实验表明与现有方法相比，语义分割、重建和场景流的准确性都显著提高了大约 40%。

Jul, 2019

本文提出了一种从 2D 视觉观察中学习动态 3D 场景模型的方法，结合神经放射场、时间对比学习和自动编码框架，可以学习到视点不变的 3D 感知场景表示，进而实现包括刚体和流体在内的具有挑战性的操作任务的视觉运动控制和未来预测，并支持摄影机视点外训练分布的目标规定，此外，还对不同系统设计进行了详细的改变研究和学习的表示的定性分析。

Jul, 2021

DreamScene4D 是一种能够从野外单眼视频中生成多个物体的三维动态场景的方法，通过设计 “分解 - 重组” 方案，将视频场景及每个物体的三维运动进行分解，并使用开放词汇遮罩跟踪和适应性图像扩散模型对视频中的物体和背景进行分割、追踪和完整修复。

May, 2024

本论文提出了一种通过学习多视角 RGB 图像预测场景未来发展的 3D 模型的框架，并使用条件神经辐射场视觉前端和 3D 基点动态预测后端来捕获底层环境的结构以及强关系和结构归纳偏差，相较于先前的方法，我们的模型对准确的点估计和跟踪不再具有依赖性，可以应对较复杂的场景，并在长时间预测方面表现较好。

Apr, 2023