Feb, 2022

条件运动中间插帧

PDF
TL;DR该论文提出了一种方法 ——Motion in-betweening (MIB)，它可以在保持运动自然性的同时，生成开始和目标姿势之间的中间骨架运动；该方法还可以处理在姿态或语义条件下的 MIB 任务，并提供增强运动生成质量的运动增强方法。该方法在姿态预测误差方面优于现有的 MIB 方法，并提供了更多可控性。
motion in-betweeningskeletal movementmotion generationcontrollabilitymotion augmentation
发现论文，激发创造
  • 使用扩散模型进行灵活的动作中间插值

    通过使用扩散模型生成多样化的人体动作，该研究提出了一种能够根据用户指定的空间限制和文本条件生成精确且多样化的动作的条件运动扩散补间方法（CondMDI）。在评估了该方法在 HumanML3D 数据集上的性能后，研究进一步探讨了基于引导和插值的方法，以及与这些方法相比，CondMDI 在推理时间关键帧创建方面的优势。

    May, 2024

  • 鲁棒动作插值

    本文提出了一种基于对抗性递归神经网络的新型、稳健的过渡生成技术，可以作为 3D 动画师的新工具。系统合成了高质量的运动，使用时间稀疏的关键帧作为动画约束。我们提出了两种新的加性嵌入修饰符，它们被应用在网络架构中的潜在表示内，用于解决仅在未来关键帧添加调节信息时无法将状态 - of-the-art 的运动预测模型转换为稳健的过渡生成器的问题。为了定量评估我们的方法，我们在 Human3.6M 数据集的子集和适用于转换生成的新型佐佛摸捉数据集 LaFAN1 上提供了明确定义的中间演算基准。同时，本文还发布了这个新数据集和可重现我们基准结果的伴随代码。

    Feb, 2021

  • 相位流形中的运动中间插值

    通过使用周期自编码器学习到的相位变量，在混合专家神经网络模型中引入了一种新颖的数据驱动的动作插值系统，以达到人物的目标姿势。我们的方法在空间和时间上以不同的专家权重聚类动作，生成一系列自回归方式在当前状态和目标状态之间的姿势序列。此外，为了满足动画师手动修改的姿势或某些末端执行器作为要达到的约束，我们实施了学习的双向控制方案来满足这些约束。结果表明，使用相位进行动作插值任务可以使插值动作更加清晰，并进一步稳定学习过程。此外，在动作插值任务中使用相位还可以合成更具挑战性的运动，超越了行走等基本动作。此外，可以在给定目标关键帧之间进行风格控制。我们的提出的框架在动作质量和泛化性方面可与流行的最先进方法相竞争，特别是在存在较长的过渡持续时间的情况下。我们的框架有助于快速原型工作流程，用于创建游戏和电影行业中的动画人物序列，这是非常有趣的。

    Aug, 2023

  • 双姿态拼接的多样化动画中间帧生成

    使用基于条件变分自动编码器的自回归网络实现单两帧生成过渡，结果表明其在动作质量和多样性方面均比现有方法更加优秀。

    Mar, 2023

  • 面向动作驱动的人体动作预测的方向感知腿部运动学习

    运用动作驱动的过渡模型在人类运动预测中产生平滑的过渡，展示了高效的性能。

    Oct, 2023

  • 基于关键帧的运动插值连续中间标记学习与隐含运动流形

    本文提出了一种使用基于关键帧约束的潜在运动流形组成的新框架，以及从中生成连续自然的中间令牌表示的方法，进而外推和合成运动数据的运动综合阶段。我们的实验证明了该方法在插值准确性和视觉相似性方面具有优越性。

    Mar, 2023

  • BiKC：健臂机器人操作的关键姿态准确性策略

    本文介绍了一种适用于双手操作的新型关键姿势条件一致性策略，该策略以层次化的模仿学习框架为基础，通过预测关键姿势指导轨迹生成，并在一阶段任务完成时标记，通过快速推理生成行动序列，实验结果表明该方法在成功率和操作效率方面优于基线方法。

    Jun, 2024

  • 通过模块化运动程序进行动作问答

    我们提出了一个名为 HumanMotionQA 的任务来评估模型在长形式人体运动序列上的复杂多步推理能力，同时提出了一种名为 NSPose 的神经符号方法。该方法使用符号推理和模块化设计通过学习运动概念、属性神经算子和时间关系来地面运动。我们演示了 NSPose 在 HumanMotionQA 任务上的适用性，优于所有基线方法。

    May, 2023

  • BMBC: 双向代价体积双向运动估计用于视频插帧

    通过双边运动估计算法，结合双边成本体积，训练深度学习网络，得到准确的双边运动估计，进而生成中间帧，使用动态滤波器进行生成中间帧的图像处理技术，在基准数据集上表现优于现有的视频插帧算法。

    Jul, 2020

  • 通过运动动作语义桥接人类运动和行动情景

    运动理解的目标是建立动作语义与运动之间的可靠映射关系，通过使用运动的客观动力学事实作为中介，我们可以统一运动知识库并构建一个运动理解系统，这也激发了运动生成的新型自动基准测试。

    Oct, 2023