May, 2024

Sync4D: 基于视频引导的可控物理动力学的 4D 生成

PDF
TL;DR通过从参考视频中提取对象形状和运动的新型非参数形状重建方法，结合物理模拟和匹配运动进行驱动，实现将参考视频中的对象运动转移到各种不同类别的生成的 3D 高斯函数，确保精确且可定制的运动转换。
controllable dynamics3d-generated gaussiansmotion transfernon-parametric shape reconstructionphysical simulation
发现论文，激发创造
  • SC4D：稀疏控制的视频到 4D 生成和运动转换

    提出了一种高效的稀疏控制视频到 4D 框架 (SC4D)，通过解耦动作和外观，实现了 superior 的视频到 4D 生成，并引入了自适应高斯初始化和高斯对齐损失来解决形状退化问题，确保了学习的动作和形状的准确性，实验证明该方法在质量和效率方面优于现有方法，并且通过对运动和外观进行解耦，我们设计了一种新的应用，根据文本描述将学习到的运动无缝传输到各种 4D 实体。

    Apr, 2024

  • DreamPhysics: 学习具有视频扩散先验的动态 3D 高斯分布的物理特性

    3D 互动和 4D 内容的创作是具有挑战性的，通过动画模拟物理场景或学习静态 3D 物体的变形，结合视频生成模型，我们提出了 DreamPhysics 方法，通过视频扩散先验来估计 3D 高斯光斑的物理属性，以优化物理参数实现逼真的运动，实验证明通过视频扩散模型的先验知识，可以逐渐提高物理模拟的质量。

    Jun, 2024

  • 动态 3D 高斯：通过持久动态视图合成进行跟踪

    同时解决动态场景新视角合成和六自由度跟踪所有密集场景元素的方法，通过分析合成框架，模型化动态场景，并用于各种后续应用。

    Aug, 2023

  • 动态转移 GAN: 通过从源视频传输任意时间动态到单个目标图像来生成视频

    提出了一种新的基于生成对抗学习的方法 Dynamics Transfer GAN，用于生成空间时间连续且具有目标图像的视觉特征的视频序列。通过两个鉴别器对所生成的视频序列进行验证，实验结果表明该方法成功地将源视频序列的任意动态特征转移到了目标图像上，同时保持了目标图像的时空连贯性和外观。

    Dec, 2017

  • 4Real: 通过视频扩散模型实现逼真的四维场景生成

    为了解决现有动态场景生成方法的局限性，本研究提出一种新的流程，通过使用视频生成模型，摒弃了对多视图生成模型的依赖，从而充分利用了在多样真实世界数据集上训练的视频生成模型，生成具有增强的逼真度和结构完整性的动态场景，可从多个角度查看，为 4D 场景生成树立了新的标准。

    Jun, 2024

  • 生成渲染：可控的 4D 引导视频生成与 2D 扩散模型

    通过将动态 3D 网格的可控性与新兴扩散模型的表达能力和可编辑性相结合，我们提出了一种新的方法来自动化计算机生成的视频的创作过程，并输出高质量和时间上一致的帧。

    Dec, 2023

  • 从单视角视频快速动态生成三维物体

    提出了一种高效的视频到 4D 对象生成框架 Efficient4D，能够在连续的摄像机轨迹下实时渲染高质量的时空一致图像，通过直接训练具有明确点云几何结构的新颖 4D 高斯涂层模型，大大提升了速度，同时保持创新视角合成质量。

    Jan, 2024

  • 高斯流：基于高斯动力学的四维内容创建

    通过将高斯动态投射到图像空间中，我们引入了一个新的概念，高斯流，它连接了 3D 高斯和相邻帧之间的像素速度，从而实现了光流的直接动态监督，显著提高了 4D 动态内容生成和 4D 新视图合成的视觉质量，并解决了 4D 生成过程中常见的颜色移动问题。

    Mar, 2024

  • 基于视觉的三维移动目标非线性动力学发现

    提议一种基于视觉的方法，通过一组摄像机记录的原始视频自动发现 3D 移动目标的非线性动力学方程，通过目标跟踪模块、坐标变换学习模块和增强曲线支持的稀疏回归器组成，该方法有效处理与视觉数据相关的挑战。

    Apr, 2024

  • 从动态摄像头中学习人类动态学

    本研究提出了一种利用 D&D 学习人体动力学的方法来实现从非惯性的本地帧考虑动态摄像机的惯性力控制来重构 3D 人体运动，并通过概率接触扭矩和基于注意力的 PD 控制来实现弱监督的接触状态，从而在大规模 3D 人体运动基准测试中表现出优越的性能。

    Sep, 2022