基于单一图像的物理兼容三维物体建模
通过单个图像的三维重建,提出自动化构建三维对象并嵌入关节骨架的框架,结合深度隐式函数的多头结构骨架概率场估计方法进行骨架提取预测,并在公共数据集和专有数据集上表现出良好性能。
Aug, 2021
通过观察只有少数示例的关节物体数据集,我们提出了一种解决少样本关节网格生成问题的层次网格变形生成模型,通过从大规模刚性网格中借用可转移的变形模式来缓解少样本挑战,并通过物理感知的变形修正方案鼓励产生物理上合理的生成物。在6个关节类别上进行了广泛实验,证明了我们的方法在少样本环境中生成具有更好的多样性、更高的视觉保真度和更好的物理有效性的关节网格方面的优势。
Aug, 2023
创建逼真的虚拟世界需要对广泛对象的三维表面几何进行准确建模,我们提出了一种名为G-Shell的新表示方法,通过定义一个流形符号距离场在完全密封的模板上对开放表面进行参数化,实现了多视图图像重建和非完全密封网格的生成建模。
Oct, 2023
弹性对象的重建和模拟在计算机视觉和机器人领域中至关重要。我们提出了Spring-Gaus,这是一个集成了3D高斯模型和基于物理模拟的框架,用于从多视角视频中重建和模拟弹性对象。我们的方法利用了一个3D弹簧-质点模型,能够对物理参数进行个别点层面的优化,同时将物理学和外观的学习分离。该方法具有良好的采样效率,增强了泛化能力,并降低了对模拟粒子分布的敏感性。我们在合成和真实数据集上评估了Spring-Gaus,展示了对弹性对象的准确重建和模拟,包括在不同的初始状态和环境参数下的未来预测和模拟。
Mar, 2024
从单一视频中重构一般关节式 3D 物体的挑战已被克服,引入了新的变形模型,通过优化部件建模、加强刚性以及精确运动和无缝变形,提高了一般关节式物体的 3D 重建质量。
Apr, 2024
通过使用Atlas3D方法,可以生成满足用户设计意图、在交互游戏、具身化AI和机器人领域中可靠互动所需的、在物理上稳定的自支撑3D模型。
May, 2024
通过视频扩散模型学习3D对象的各种物理属性,设计了一种高度通用的基于粘弹性材料模型的物理仿真系统,通过蒸馏视频扩散模型中的物理先验知识,证明了物理3D在虚拟环境中应用真实物理原理的能力。
Jun, 2024
通过视觉观察来估计物理特性(系统辨识)的问题,本论文介绍了一种新颖的混合框架,该框架利用三维高斯表示不仅能捕捉明确的形状,还能使模拟连续推导训练中的隐含形状。我们提出了一种基于运动分解的新型动态三维高斯框架,以在不同时间状态下恢复物体作为三维高斯点集。此外,我们开发了一种由粗到细的填充策略,从高斯重建生成物体的密度场,允许提取物体连续及其表面,并将高斯属性融入这些连续体中。除提取的物体表面外,高斯信息的连续体还能在模拟中渲染物体掩膜,为物理特性估计提供隐含形状引导。大量实验评估表明,我们的管线在多个基准和度量标准上达到了最先进的性能。另外,我们通过真实世界演示展示了所提方法的实用性。
Jun, 2024
本研究解决了可交互物体在建模过程中物理约束带来的挑战,提出了一种基于扩散的部件生成模型,通过几何条件和稳定性损失引导采样过程,实现物理上合理的部件生成。实验结果表明,该模型在形状和物理性度量上均优于现有基线,显示出在3D打印和机器人操作中的强大应用潜力。
Aug, 2024
本研究解决了可交互物体部件补全中的物理可行性问题,提出现了一种基于扩散的部件生成模型,通过无分类器引导实现几何条件约束,并构建物理约束损失函数以引导采样过程。研究表明,该模型在形状和物理指标上优于现有基线,且在3D打印和机器人操作等应用中展现出了强大的物理可行性。
Aug, 2024