Oct, 2023
MAS: 使用 2D 扩散进行的多视角祖先采样的 3D 运动生成
MAS: Multi-view Ancestral Sampling for 3D motion generation using 2D diffusion
Roy Kapon, Guy Tevet, Daniel Cohen-Or, Amit H. Bermano
TL;DR我们介绍了一种名为多视角祖先采样（MAS）的方法，用于生成一系列运动的一致的多视角 2D 样本，从而实现其 3D 对应物的创建。MAS 利用仅基于 2D 数据训练的扩散模型，为 3D 数据稀缺且难以收集的运动领域提供了机会。MAS 通过同时去噪不同角度下表示相同运动的多个 2D 运动序列，保证了每个扩散步骤中所有视角的一致性，并将个体生成结果合并为统一的 3D 序列，再投影到原始视角作为下一迭代的输入。我们在包括职业篮球动作、球体器械韵律体操表演和马障碍赛等视频中的 2D 姿势数据上展示了 MAS 的效果。在这些领域中，进行 3D 运动捕捉工作较为困难，然而 MAS 却能生成多样且逼真的 3D 序列，无需文本约束。正如我们展示的，我们基于祖先采样的方法相对于流行的基于优化的去噪方法，在扩散框架中提供了更自然的一体化，避免了常见的问题，如域外采样、缺乏细节和模式坍缩。