PhysGaussian: 三维高斯过程的物理生成动力学
通过视频扩散模型学习 3D 对象的各种物理属性，设计了一种高度通用的基于粘弹性材料模型的物理仿真系统，通过蒸馏视频扩散模型中的物理先验知识，证明了物理 3D 在虚拟环境中应用真实物理原理的能力。
Jun, 2024
3D 互动和 4D 内容的创作是具有挑战性的，通过动画模拟物理场景或学习静态 3D 物体的变形，结合视频生成模型，我们提出了 DreamPhysics 方法，通过视频扩散先验来估计 3D 高斯光斑的物理属性，以优化物理参数实现逼真的运动，实验证明通过视频扩散模型的先验知识，可以逐渐提高物理模拟的质量。
Jun, 2024
弹性对象的重建和模拟在计算机视觉和机器人领域中至关重要。我们提出了 Spring-Gaus，这是一个集成了 3D 高斯模型和基于物理模拟的框架，用于从多视角视频中重建和模拟弹性对象。我们的方法利用了一个 3D 弹簧 - 质点模型，能够对物理参数进行个别点层面的优化，同时将物理学和外观的学习分离。该方法具有良好的采样效率，增强了泛化能力，并降低了对模拟粒子分布的敏感性。我们在合成和真实数据集上评估了 Spring-Gaus，展示了对弹性对象的准确重建和模拟，包括在不同的初始状态和环境参数下的未来预测和模拟。
Mar, 2024
利用物理动画、三维高斯点喷涂（3DGS）与基于位置的动力学（PBD）相结合的方法，创建具有非凡效果的虚拟场景重建。通过增强高斯核并与表面法向对齐，实现实时渲染、视角合成以及对固体和流体的动力学模拟。具备物理可行性的渲染和动态表面反射在流体上，产生真实的表面亮点，促进场景物体与流体之间的交互。
Jan, 2024
使用 3D 高斯原始物体来建模静态和动态 3D 场景的外观已经取得了优秀的结果。本研究提出了一种统一物理动态场景合成和由自然语言支持的丰富语义的特征平面化方法。通过将高质量的面向对象视觉语言特征整合为 3D 高斯模型，能够利用文本查询实现半自动场景分解。同时，通过基于粒子的模拟器从静态场景中合成物理动力学，通过文本查询自动分配材料属性。本研究在这一流程中消去了关键技术，以说明将携带特征的 3D 高斯模型作为外观、几何、材料属性和基于自然语言的语义的统一格式的挑战和机遇。
Apr, 2024
通过视觉观察来估计物理特性 (系统辨识) 的问题，本论文介绍了一种新颖的混合框架，该框架利用三维高斯表示不仅能捕捉明确的形状，还能使模拟连续推导训练中的隐含形状。我们提出了一种基于运动分解的新型动态三维高斯框架，以在不同时间状态下恢复物体作为三维高斯点集。此外，我们开发了一种由粗到细的填充策略，从高斯重建生成物体的密度场，允许提取物体连续及其表面，并将高斯属性融入这些连续体中。除提取的物体表面外，高斯信息的连续体还能在模拟中渲染物体掩膜，为物理特性估计提供隐含形状引导。大量实验评估表明，我们的管线在多个基准和度量标准上达到了最先进的性能。另外，我们通过真实世界演示展示了所提方法的实用性。
Jun, 2024
本文通过数据驱动的方法，提出了一种基于粒子的模型，使用基于高斯过程的方法来对相互作用的动力学系统进行建模，并利用小型数据集证明了该方法在描述非线性动力学系统方面的有效性。
Nov, 2023
我们的研究介绍了一种可学习的三维高斯表示方法，通过从立体内窥镜视频中学习，可以重建和模拟手术场景，以提高手术教育和机器人学习的效率和多样性。
May, 2024
提出了一种名为 GaussianDreamerPro 的新框架，通过将高斯函数与合理几何形状相结合，逐步丰富几何与外观，构建了与以前方法相比具有显着改进细节和质量的 3D 高斯函数绑定网格的生成资产，可无缝集成于下游操作流水线，大大扩展了其在广泛应用中的潜力。
Jun, 2024