3D 互动和 4D 内容的创作是具有挑战性的，通过动画模拟物理场景或学习静态 3D 物体的变形，结合视频生成模型，我们提出了 DreamPhysics 方法，通过视频扩散先验来估计 3D 高斯光斑的物理属性，以优化物理参数实现逼真的运动，实验证明通过视频扩散模型的先验知识，可以逐渐提高物理模拟的质量。

Jun, 2024

我们介绍了 PhysGaussian，一种无缝集成物理基础牛顿动力学和三维高斯函数的新方法，以实现高质量的新颖动作合成。

Nov, 2023

弹性对象的重建和模拟在计算机视觉和机器人领域中至关重要。我们提出了 Spring-Gaus，这是一个集成了 3D 高斯模型和基于物理模拟的框架，用于从多视角视频中重建和模拟弹性对象。我们的方法利用了一个 3D 弹簧 - 质点模型，能够对物理参数进行个别点层面的优化，同时将物理学和外观的学习分离。该方法具有良好的采样效率，增强了泛化能力，并降低了对模拟粒子分布的敏感性。我们在合成和真实数据集上评估了 Spring-Gaus，展示了对弹性对象的准确重建和模拟，包括在不同的初始状态和环境参数下的未来预测和模拟。

Mar, 2024

通过视觉观察来估计物理特性 (系统辨识) 的问题，本论文介绍了一种新颖的混合框架，该框架利用三维高斯表示不仅能捕捉明确的形状，还能使模拟连续推导训练中的隐含形状。我们提出了一种基于运动分解的新型动态三维高斯框架，以在不同时间状态下恢复物体作为三维高斯点集。此外，我们开发了一种由粗到细的填充策略，从高斯重建生成物体的密度场，允许提取物体连续及其表面，并将高斯属性融入这些连续体中。除提取的物体表面外，高斯信息的连续体还能在模拟中渲染物体掩膜，为物理特性估计提供隐含形状引导。大量实验评估表明，我们的管线在多个基准和度量标准上达到了最先进的性能。另外，我们通过真实世界演示展示了所提方法的实用性。

Jun, 2024

基于视频扩散模型和几何一致性先验的自动生成方法在 3D 生成方面取得了很大突破，能够生成高质量的网格和 3D 高斯帧，并且在场景级别的新视角合成方面取得了优越的性能表现。

Mar, 2024

通过基于物理原理的方法，我们提出了 PhysDreamer，它能够使静态的 3D 对象能够以虚拟实境中真实的方式动态地响应交互刺激，实现了更加引人入胜和逼真的虚拟体验。

Apr, 2024

提出了一种名为 Physion++ 的数据集和评测基准，旨在严格评估视觉物理预测在人工系统中的表现，其中预测依赖于对场景中物体的潜在物理属性的准确估计，结果发现，所有现有的先进模型都没有像人类一样学习进行物理预测。

Jun, 2023

本论文提出了一种利用预训练视频扩散模型构建可扩展的 3D 生成模型的新范例。通过使用视频扩散模型作为 3D 数据的知识源，通过微调其多视图生成能力，生成一个大规模的合成多视图数据集，从而训练出一个前馈的 3D 生成模型。该模型在近 300 万个合成多视图数据上训练，能够在几秒钟内从单张图像生成一个 3D 资源，并在与当前最先进的前馈 3D 生成模型相比取得了更好的性能，用户 70％的时间更喜欢我们的结果。

Mar, 2024

本文提出了一种基于物理驱动扩散模型的冲击声合成方法，该方法结合了视频内容和物理参数作为先验信息，从而可以高保真地合成出静音视频中的冲击声，并且能够灵活地进行声音编辑。

Mar, 2023

提出一种新的物理引导的运动扩散模型 (PhysDiff)，该模型将物理约束条件融入到扩散过程中，并利用物理仿真中的运动模拟来将降噪后的运动投影为物理合理运动，以此指导降噪扩散过程，并在大规模人类运动数据集上进行实验，取得了最先进的运动质量和显着的物理合理性改进（对于所有数据集 > 78%）。

Dec, 2022