3D 互动和 4D 内容的创作是具有挑战性的，通过动画模拟物理场景或学习静态 3D 物体的变形，结合视频生成模型，我们提出了 DreamPhysics 方法，通过视频扩散先验来估计 3D 高斯光斑的物理属性，以优化物理参数实现逼真的运动，实验证明通过视频扩散模型的先验知识，可以逐渐提高物理模拟的质量。

Jun, 2024

通过使用预训练的大型模型和文本到动作模型，本文介绍了一种名为 InterDreamer 的框架，能够以零样本的方式生成与文本指令无缝对齐的逼真和连贯的 3D 人物 - 物体交互序列。

Mar, 2024

通过视频扩散模型学习 3D 对象的各种物理属性，设计了一种高度通用的基于粘弹性材料模型的物理仿真系统，通过蒸馏视频扩散模型中的物理先验知识，证明了物理 3D 在虚拟环境中应用真实物理原理的能力。

Jun, 2024

本文提出了基于 3D-PhysNet 框架的物理建模方法，可以对三维物体在外力作用下的变形进行快速预测，并具有材料属性的泛化性，并且通过深度变分自编码器结合敌对训练的方式进行了材料属性的编码，以及通过级联结构对部分视图下的物体变形进行预测。

Apr, 2018

最新的文字到 3D 生成技术取得了显著进展，现有的方法利用大规模的文字到图像扩散模型，如 DreamFusion，来监督 3D 生成。然而，这些方法生成的 3D 对象的外观通常是随机和不可控的，这在实现可控外观的 3D 对象方面是一个挑战。为了解决这个问题，我们引入了 IPDreamer，一种新颖的方法，它结合了图像提示，为 3D 对象生成提供特定和全面的外观信息。我们的结果表明，IPDreamer 有效地生成了与所提供的文本和图像提示一致的高质量 3D 对象，展示了它在可控外观的 3D 对象生成方面的潜能。

Oct, 2023

本文提出了一种名为 VRDP 的统一框架，可以从视频和语言中联合学习视觉概念，并推断对象及其交互的物理模型，通过无缝集成三个组成部分：视觉理解模块、概念学习器和可微分的物理引擎。

Oct, 2021

本文介绍了一种基于深度学习的方法，用于计算混合现实中用户实时交互引起的（可能是非线性和耗散性的）可变形物体的动态响应，以保证虚拟世界的正确性和真实性。两个具体示例证明了该方法的高效性。

Oct, 2022

通过与物理互动功能的先进集成，PhyScene 可有效生成具有可互动性的物理场景，与现有的场景合成方法相比，明显优势明显，有望在促进智能体在互动环境中获得丰富技能方面发挥巨大潜力。

Apr, 2024

HyperDreamer 是一个可视化、可渲染和可编辑的 3D 内容创建工具，通过 360 度网格建模、高分辨率纹理和语义分割等技术，能够从单张图片中生成逼真的 3D 模型，并支持用户友好的编辑操作。

Dec, 2023

本论文提出了一种通过学习多视角 RGB 图像预测场景未来发展的 3D 模型的框架，并使用条件神经辐射场视觉前端和 3D 基点动态预测后端来捕获底层环境的结构以及强关系和结构归纳偏差，相较于先前的方法，我们的模型对准确的点估计和跟踪不再具有依赖性，可以应对较复杂的场景，并在长时间预测方面表现较好。

Apr, 2023