Nov, 2023

MAAIG：运动分析与指导生成

PDF
TL;DR提出了一种名为 MAAIG 的新的应用框架，可以为每个帧生成嵌入向量，以用户提供的运动动作视频为基础，然后将这些嵌入向量与每个帧的 3D 骨架相关联，并进一步输入预训练的 T5 模型，最终利用这些信息生成具体的运动指导，类似于专业教练的方式提供潜在问题的识别和实时指导，帮助用户提高运动技能，避免受伤。
self-directed sports trainingreal-time guidancemaaigembedding vectorspretrained t5 model
发现论文，激发创造
  • 基于物理模拟角色的多智能体对抗互动先验的模仿学习

    提出了基于多智能体生成对抗模仿学习的新方法，可以模拟多个基于物理的角色之间的互动与动作，并保留内在风格，通过训练使每个角色模仿与其相关的互动技巧。已通过拳击和全身武术等两种不同战斗风格进行了测试。

    Nov, 2023

  • 可控的图像描述生成视频技术

    提出了一种名为 TI2V 的新的视频生成任务，即从静态图像和文本描述生成视频。介绍了一种名为 MAGE 的视频生成器，其中包含一种创新的运动锚（MA）结构，以存储外观 - 运动对齐表示，通过三维轴向变压器与给定图像交互，支持可控性和多样性。两个新的视频 - 文本匹配数据集验证了 MAGE 的有效性并展示了 TI2V 的潜力。

    Dec, 2021

  • 基于骨架的关节运动生成

    该研究通过利用单个图像，结合人体骨骼信息、姿态运动、外观参照和 triplet loss，构建一个条件 GAN 框架，能够生成更真实的动态人体运动序列。研究数据集包括 KTH 和 Human3.6M。

    Jul, 2017

  • Action2Motion: 条件化生成三维人体动作

    研究逆向行动识别问题，以给定的预设行动类型为条件，通过采用 Lie Algebra 理论和时序变分自编码器（VAE）来生成 3D 的逼真的人体运动序列，并保持多样性，实验评估证明了方法的有效性。

    Jul, 2020

  • MOFA-Video: 冻结图像到视频扩散模型中的生成运动场适应的可控图像动画

    MOFA-Video 通过使用各种额外的可控信号（例如人类标志物参考、手动轨迹以及另一个提供的视频）或其组合，从给定的图像生成视频。MOFA-Video 不同于先前只能在特定运动范围内工作或显示弱控制能力的方法，为了实现我们的目标，我们设计了几个领域感知的运动适配器（即 MOFA-Adapters）来控制视频生成流程中生成的运动。对于 MOFA-Adapters，我们首先考虑视频的时间运动一致性，并从给定的稀疏控制条件生成稠密运动流，然后将给定图像的多尺度特征包装为稳定视频扩散生成的引导特征。我们分别对手动轨迹和人类标志物进行了两个运动适配器的训练，因为它们都包含有关控制的稀疏信息。在训练之后，不同域中的 MOFA-Adapters 也可以一起工作以实现更可控的视频生成。

    May, 2024

  • 基于混合 X3D-SlowFast 网络的视频运动分类和激活肌群预测

    通过使用基于视频的深度学习框架，整合 X3D 和 SlowFast 视频活动识别模型的加权融合方法，本研究在锻炼分类和肌肉群激活预测方面取得了显著的性能提高。

    Jun, 2024

  • 学习稀疏时空视频映射，用于地面体操动作质量评估

    通过提出新的 AGF-Olympics 数据集和引入一种能适用于长期视频序列的注意力模块，我们可以更准确地评估运动员的运动能力表现。

    Jan, 2023

  • 基于无线感知的 AI 生成数字内容引导

    本文提出了一种新方法，将无线感知技术与人工智能生成的内容相结合，提出了一个统一的无线感知 - 人工智能生成内容框架，以改善数字内容生产的质量，在服务需求的基础上生成相应的数字内容。该框架能够根据用户的姿势作为约束生成内容，并能接受用户的反馈，从而调整边缘服务器上的计算资源以提高服务质量。实验结果验证了该框架的有效性，凸显了其在准确生成数字内容方面的潜力。

    Mar, 2023

  • 2D 动作重定向中的跨字符动作学习

    本文提出了一种新的方法，通过使用神经网络从视频中提取人体运动的高级潜在表示的方法，实现了不需要显式重建三维姿态和 / 或相机参数的不同人类表演者之间的视频捕获运动的再定向。

    May, 2019

  • 运动适应性游戏 AI 促进健康

    本文提出了一种非玩家角色（AI）设计，用于促进全身运动游戏中身体各部分平衡性的使用。在使用 FightingICE 平台进行 AI 开发的战斗中，通过使用名为 UKI 的中间件，允许玩家使用身体动作而非键盘和鼠标来控制游戏。在游戏过程中，通过预测每个候选行动如何引起玩家移动以及玩家的生命状态如何受到影响，建议的 Monte-Carlo 树搜索算法确定下一步行动。结果表明，在 4 名受试者中成功提高了身体各段的平衡性。

    Apr, 2017