CVPRMar, 2023

基于物理学的扩散模型的视频冲击声合成

PDF
TL;DR本文提出了一种基于物理驱动扩散模型的冲击声合成方法，该方法结合了视频内容和物理参数作为先验信息，从而可以高保真地合成出静音视频中的冲击声，并且能够灵活地进行声音编辑。
impact sound synthesisphysics-driven diffusion modelvideo contentphysics priorssound environment
发现论文，激发创造
  • DreamPhysics: 学习具有视频扩散先验的动态 3D 高斯分布的物理特性

    3D 互动和 4D 内容的创作是具有挑战性的，通过动画模拟物理场景或学习静态 3D 物体的变形，结合视频生成模型，我们提出了 DreamPhysics 方法，通过视频扩散先验来估计 3D 高斯光斑的物理属性，以优化物理参数实现逼真的运动，实验证明通过视频扩散模型的先验知识，可以逐渐提高物理模拟的质量。

    Jun, 2024

  • PhysDiff：物理引导的人体运动扩散模型

    提出一种新的物理引导的运动扩散模型 (PhysDiff)，该模型将物理约束条件融入到扩散过程中，并利用物理仿真中的运动模拟来将降噪后的运动投影为物理合理运动，以此指导降噪扩散过程，并在大规模人类运动数据集上进行实验，取得了最先进的运动质量和显着的物理合理性改进（对于所有数据集 > 78%）。

    Dec, 2022

  • 通过视频扩散学习 3D 高斯函数的物理特性

    通过视频扩散模型学习 3D 对象的各种物理属性，设计了一种高度通用的基于粘弹性材料模型的物理仿真系统，通过蒸馏视频扩散模型中的物理先验知识，证明了物理 3D 在虚拟环境中应用真实物理原理的能力。

    Jun, 2024

  • Soundini: 用声音引导的扩散技术进行自然视频编辑

    本研究提出了一种使用声音引导视觉效果的方法，通过在音频视觉潜在空间中使用音频潜在表示来引导去噪扩散概率模型，利用基于光流的指导生成时间一致的视频帧，生成更具有现实主义的视觉效果。

    Apr, 2023

  • 视觉指示音

    本文提出了一种利用递归神经网络从无声视频中合成与物体相互作用产生的声音的算法，并且在 “真实或假的” 心理物理实验中证实了该模型产生的声音足够逼真，能够传达物质特性和物理相互作用的显著信息。

    Dec, 2015

  • 音频驱动的预训练扩散模型生成与编辑

    我们提出了一种能够在大规模图像扩散模型中实现音频条件的方法，通过将从音频剪辑中获取的特征映射到可以注入扩散模型的令牌中，引入了额外的音频 - 图像交叉注意力层，可以与扩散编辑方法相结合进行音频条件的图像编辑。

    May, 2024

  • Pi-fusion: 物理信息扩散模型用于学习流体力学

    利用物理信息引导的扩散模型 Pi-fusion，加上逆向学习策略，用于预测流体动力学中速度和压力场的时间演化，表现出较大的泛化性能。

    Jun, 2024

  • PhysDreamer: 基于物理的通过视频生成与 3D 物体交互

    通过基于物理原理的方法，我们提出了 PhysDreamer，它能够使静态的 3D 对象能够以虚拟实境中真实的方式动态地响应交互刺激，实现了更加引人入胜和逼真的虚拟体验。

    Apr, 2024

  • 理解物体动态：交互式图像到视频合成

    本文介绍了一种使用局部操纵来学习自然外观的全局关节，训练只需要移动物体的视频，而不需要了解物理场景底层的操纵。通过学习物体动力学的生成模型，响应用户互动，并了解相互关联的不同物体部位，该方法预测了静态图像和像素局部操纵后物体弯曲的时间变化，并实现了变形的局部交互控制，可针对不同类型的物体进行转移。与现有的视频预测相比，我们的模型不合成任意逼真的视频，而是提供对变形的局部交互控制。通过对不同物体的广泛实验，证明了我们的方法相比于常见的视频预测框架的有效性。

    Jun, 2021

  • RealImpact: 真实物体冲击声场数据集

    研究团队构建了一个大规模的现实物体撞击声音数据集（RealImpact），并使用该数据集作为参照标准来校准仿真模型与真实模型之间的差距，同时还证明了该数据集的可用性来测试声学和视听学习。

    Jun, 2023