Jun, 2024

基于高斯信息的连续方法用于物性识别与模拟

PDF
TL;DR通过视觉观察来估计物理特性 (系统辨识) 的问题，本论文介绍了一种新颖的混合框架，该框架利用三维高斯表示不仅能捕捉明确的形状，还能使模拟连续推导训练中的隐含形状。我们提出了一种基于运动分解的新型动态三维高斯框架，以在不同时间状态下恢复物体作为三维高斯点集。此外，我们开发了一种由粗到细的填充策略，从高斯重建生成物体的密度场，允许提取物体连续及其表面，并将高斯属性融入这些连续体中。除提取的物体表面外，高斯信息的连续体还能在模拟中渲染物体掩膜，为物理特性估计提供隐含形状引导。大量实验评估表明，我们的管线在多个基准和度量标准上达到了最先进的性能。另外，我们通过真实世界演示展示了所提方法的实用性。
发现论文，激发创造
  • 通过视频扩散学习 3D 高斯函数的物理特性

    通过视频扩散模型学习 3D 对象的各种物理属性，设计了一种高度通用的基于粘弹性材料模型的物理仿真系统，通过蒸馏视频扩散模型中的物理先验知识，证明了物理 3D 在虚拟环境中应用真实物理原理的能力。

    Jun, 2024

  • PhysGaussian: 三维高斯过程的物理生成动力学

    我们介绍了 PhysGaussian，一种无缝集成物理基础牛顿动力学和三维高斯函数的新方法，以实现高质量的新颖动作合成。

    Nov, 2023

  • 应用物理学知识的操作符回归框架，用于提取数据驱动的连续模型

    采用神经网络参数化的物理描述框架，从分子模拟数据中自动发现连续体模型。该方法在模态空间中对支配物理方程进行参数化，对涉及对称性、各向同性和守恒性的归纳偏差提供结构。通过应用在各种物理问题中展示了该框架的有效性。

    Sep, 2020

  • DreamPhysics: 学习具有视频扩散先验的动态 3D 高斯分布的物理特性

    3D 互动和 4D 内容的创作是具有挑战性的，通过动画模拟物理场景或学习静态 3D 物体的变形，结合视频生成模型，我们提出了 DreamPhysics 方法，通过视频扩散先验来估计 3D 高斯光斑的物理属性，以优化物理参数实现逼真的运动，实验证明通过视频扩散模型的先验知识，可以逐渐提高物理模拟的质量。

    Jun, 2024

  • 基于弹簧质点三维高斯模型的弹性物体重建和模拟

    弹性对象的重建和模拟在计算机视觉和机器人领域中至关重要。我们提出了 Spring-Gaus，这是一个集成了 3D 高斯模型和基于物理模拟的框架，用于从多视角视频中重建和模拟弹性对象。我们的方法利用了一个 3D 弹簧 - 质点模型，能够对物理参数进行个别点层面的优化，同时将物理学和外观的学习分离。该方法具有良好的采样效率，增强了泛化能力，并降低了对模拟粒子分布的敏感性。我们在合成和真实数据集上评估了 Spring-Gaus，展示了对弹性对象的准确重建和模拟，包括在不同的初始状态和环境参数下的未来预测和模拟。

    Mar, 2024

  • ContPhy: 从视频中学习和推理连续物理概念

    我们引入了连续物理数据集（ContPhy），这是一个用于评估机器物理常识的新型基准。通过涵盖不同场景中的多样化物理属性推理以及对应的动力学预测，ContPhy 补充了现有的物理推理基准。我们评估了一系列 AI 模型，并发现它们在 ContPhy 上仍然难以达到令人满意的性能，这表明当前的 AI 模型在连续物体方面仍然缺乏物理常识，尤其是软体，并证明了该数据集的价值。我们还引入了一种基于粒子的物理动力学模型与最近的大型语言模型相结合的神谕模型（ContPRO），该模型结合了两种模型的优势，即精确的动力学预测和可解释的推理。ContPhy 旨在促进在不同物理场景中的感知和推理的进步，缩小人类和机器智能在理解物理世界方面的差距。项目页面：这个 https URL

    Feb, 2024

  • Physion++：对需要在线推理不同物理属性的物理场景理解进行评估

    提出了一种名为 Physion++ 的数据集和评测基准，旨在严格评估视觉物理预测在人工系统中的表现，其中预测依赖于对场景中物体的潜在物理属性的准确估计，结果发现，所有现有的先进模型都没有像人类一样学习进行物理预测。

    Jun, 2023

  • InfoGaussian: 结构感知的轻量级信息塑造下动态高斯

    通过运动网络中的相关高斯函数之间的运动共振，我们开发了一种互信息塑形技术，确保不同对象由不同高斯函数组成在各种扰动下的一致运动，从而提高了稳定性和 3D 对象分割的性能。

    Jun, 2024

  • Physics-as-Inverse-Graphics: 从视频中无监督地估计物理参数

    本文提出了一种基于物理 - 逆向图像学的方法，可以从视频中无监督地估算系统的物理参数，实现长期视频预测和基于视觉的模型预测控制，并在交互物体系统的长期未来帧预测中显著优于相关无监督方法，还实现了控制器的可解释性提供了独特的能力在目标驱动控制和物理推理方面的零数据适应。

    May, 2019

  • 动态 3D 高斯：通过持久动态视图合成进行跟踪

    同时解决动态场景新视角合成和六自由度跟踪所有密集场景元素的方法，通过分析合成框架，模型化动态场景，并用于各种后续应用。

    Aug, 2023