提出了一种新颖的环境感知音频生成模型，用于根据视频内容生成符合语义和时间要求的音频；使用了特殊的音频条件机制，以在野外训练视频中学习将前景动作声音与环境背景声音解耦合。

Jun, 2024

该研究提出了一种基于扩散模型的可控运动扩散模型 (COMODO) 框架，通过强化学习控制器和控制策略，实现了对虚拟角色的实时、多样化运动生成，可以适应用户的实时命令，同时还可以预测更多多样化的动作。

Jun, 2023

通过复用和扩散的框架 VidRD，使用潜在扩散模型（LDM）和自编码器实现文本到视频生成，获得了良好的定量和定性结果。

Sep, 2023

本文介绍一种从指令视频中生成机器人动作序列的方法，用于实现人机协作，并展示了该方法在各种烹饪动作中的成功率达到 32%。

Jun, 2023

Replay 数据集是一组多视角、多模态的人类社交互动视频，可用于新视角合成、3D 重建、新视角声学合成、人体和面部分析以及生成模型训练，并提供了一个新视角合成的基准测试。

Jul, 2023

通过综合定量分析和视觉比较，我们展示了加速自回归运动扩散模型（AAMDM）在运动质量、多样性和运行效率方面优于现有方法，并通过消融研究证明了每个算法组成部分的有效性。

Dec, 2023

通过引入 RAVE 方法，我们在视频编辑领域取得了显著成果，能够利用预训练的文本到图像扩散模型进行零样本视频编辑，生成高质量视频并保持原始运动和语义结构。RAVE 采用了一种新颖的噪声重排策略，在帧之间的时空交互中产生了时间上的一致性视频，比现有方法更快、更高效地处理长视频，并能实现从局部属性修改到形状变换的广泛编辑。我们进行了定性和定量实验证明了 RAVE 在多种视频编辑场景中相比现有方法的有效性。

Dec, 2023

基于视频扩散模型的自动重新动画化技术，通过利用扩散特征和显式基于网格的表示方法，实现对任意 3D 形状的准确动画拟合。

May, 2024

本研究提出了一种基于扩散模型的动作生成框架 ReMoDiffuse，它集成了一种检索机制以改善去噪过程，提高了文本驱动动作生成的通用性和多样性，并且在更多样化的动作生成方面表现出色，优于现有的最先进方法。

Apr, 2023

本文介绍了一种名为 ReVideo 的视频重制方法，通过指定内容和运动，允许在特定区域进行精确的视频编辑。通过修改第一帧实现内容编辑，而基于轨迹的运动控制提供了直观的用户交互体验。通过逐步分离内容和运动控制的训练策略以及时空自适应融合模块，解决了内容和运动控制之间的任务耦合和训练不平衡问题。广泛的实验证明，ReVideo 在几个精确的视频编辑应用上表现出有希望的性能，包括：（1）在保持运动恒定的情况下局部改变视频内容，（2）保持内容不变并自定义新的运动轨迹，（3）修改内容和运动轨迹。该方法还可以无需特定训练地无缝扩展到多区域编辑，展示了它的灵活性和鲁棒性。

May, 2024