Mar, 2024

基于弹簧质点三维高斯模型的弹性物体重建和模拟

PDF
TL;DR弹性对象的重建和模拟在计算机视觉和机器人领域中至关重要。我们提出了 Spring-Gaus，这是一个集成了 3D 高斯模型和基于物理模拟的框架，用于从多视角视频中重建和模拟弹性对象。我们的方法利用了一个 3D 弹簧 - 质点模型，能够对物理参数进行个别点层面的优化，同时将物理学和外观的学习分离。该方法具有良好的采样效率，增强了泛化能力，并降低了对模拟粒子分布的敏感性。我们在合成和真实数据集上评估了 Spring-Gaus，展示了对弹性对象的准确重建和模拟，包括在不同的初始状态和环境参数下的未来预测和模拟。
reconstructionsimulationelastic objectsspring-gausphysics-based
发现论文，激发创造
  • 通过视频扩散学习 3D 高斯函数的物理特性

    通过视频扩散模型学习 3D 对象的各种物理属性，设计了一种高度通用的基于粘弹性材料模型的物理仿真系统，通过蒸馏视频扩散模型中的物理先验知识，证明了物理 3D 在虚拟环境中应用真实物理原理的能力。

    Jun, 2024

  • PhysGaussian: 三维高斯过程的物理生成动力学

    我们介绍了 PhysGaussian，一种无缝集成物理基础牛顿动力学和三维高斯函数的新方法，以实现高质量的新颖动作合成。

    Nov, 2023

  • 利用机器人手术视频的高效数据驱动场景模拟：基于物理嵌入的 3D 高斯方法

    我们的研究介绍了一种可学习的三维高斯表示方法，通过从立体内窥镜视频中学习，可以重建和模拟手术场景，以提高手术教育和机器人学习的效率和多样性。

    May, 2024

  • DreamPhysics: 学习具有视频扩散先验的动态 3D 高斯分布的物理特性

    3D 互动和 4D 内容的创作是具有挑战性的，通过动画模拟物理场景或学习静态 3D 物体的变形，结合视频生成模型，我们提出了 DreamPhysics 方法，通过视频扩散先验来估计 3D 高斯光斑的物理属性，以优化物理参数实现逼真的运动，实验证明通过视频扩散模型的先验知识，可以逐渐提高物理模拟的质量。

    Jun, 2024

  • 动态 3D 高斯：通过持久动态视图合成进行跟踪

    同时解决动态场景新视角合成和六自由度跟踪所有密集场景元素的方法，通过分析合成框架，模型化动态场景，并用于各种后续应用。

    Aug, 2023

  • 动态高斯网格：从单目视频实现一致的网格重建

    使用单个单目视频，通过引入动态高斯网格（DG-Mesh）框架，可以重建出高保真度和时态一致的网格结构，并实现动态对象的纹理编辑。

    Apr, 2024

  • 高保真单目动态场景重建的可变形三维高斯模型

    提出了一个使用可变形的 3D 高斯散射方法对动态场景进行重建和渲染，在实时渲染的速度和渲染质量方面优于现有方法。

    Sep, 2023

  • GaussianObject: 只需四张图像，使用高斯喷洒获得高质量三维物体

    从稀疏视图中重建和渲染 3D 物体是促进 3D 视觉技术应用和提高用户体验的关键。本文提出了 GaussianObject 框架，通过高斯散射达到高质量渲染，仅需 4 张输入图像，解决了构建多视角一致性和补充遗漏物体信息的困难，同时在多个数据集上显示出卓越的重建效果，超越现有方法。

    Feb, 2024

  • 基于网格吸附高斯喷溅的动态三维物体重建与模拟

    本文介绍了 Mesh-adsorbed Gaussian Splatting（MaGS）方法，它通过在网格表面生成互相吸附的网格 - 高斯三维表示，结合了三维高斯的渲染灵活性和网格的空间一致性，引入了可学习的 Relative Deformation Field（RDF）来更精确地捕捉每个三维高斯的运动，从而实现了高渲染准确性和逼真变形，在 D-NeRF 和 NeRF-DS 数据集上的实验表明，MaGS 在重建和模拟方面取得了竞争性的结果。

    Jun, 2024

  • 基于高斯信息的连续方法用于物性识别与模拟

    通过视觉观察来估计物理特性 (系统辨识) 的问题，本论文介绍了一种新颖的混合框架，该框架利用三维高斯表示不仅能捕捉明确的形状，还能使模拟连续推导训练中的隐含形状。我们提出了一种基于运动分解的新型动态三维高斯框架，以在不同时间状态下恢复物体作为三维高斯点集。此外，我们开发了一种由粗到细的填充策略，从高斯重建生成物体的密度场，允许提取物体连续及其表面，并将高斯属性融入这些连续体中。除提取的物体表面外，高斯信息的连续体还能在模拟中渲染物体掩膜，为物理特性估计提供隐含形状引导。大量实验评估表明，我们的管线在多个基准和度量标准上达到了最先进的性能。另外，我们通过真实世界演示展示了所提方法的实用性。

    Jun, 2024