Sep, 2023

SynthoGestures: 面向驾驶场景的合成动态手势生成新框架

PDF
TL;DR利用虚拟 3D 模型生成合成手势数据集的框架，通过使用 Unreal Engine 合成逼真的手势，提供自定义选项和减少过度拟合风险，改善智能汽车领域的手势识别系统的开发。
hand gesturesdynamic human-machine interfacessynthetic gesture datasetsunreal enginegesture recognition systems
发现论文，激发创造
  • 增强现实应用中，合成视频生成用于手势识别的鲁棒性提升

    本文介绍了一个能够生成具有标记边界框和指尖的逼真视频的框架，以帮助设计、训练和基准测试增强现实 /virtual reality 应用程序中的手势识别模型，并展示了我们的框架在生成具有不同背景的视频方面的有效性。

    Nov, 2019

  • 从视频中学习基于语音的 3D 对话手势

    利用 CNN 架构及 GAN 模型自动综合逼真的 3D 虚拟人物之肢体手势，面部表情和语音生成，同时创造出三维身体、手部和面部数据，并利用多模态的 3D 姿态估计技术和训练，实现更加自然流畅的合成动画。

    Feb, 2021

  • 语义手势生成器：语义感知的共语手势合成

    Semantic Gesticulator 是一个新颖的框架，旨在通过强有力的语义对应性合成伴随语音的逼真手势，通过大型语言模型的生成检索框架，有效地从动作库中检索合适的语义手势候选，以生成与语音节奏相匹配的高质量手势，通过语义对齐机制确保最终动画的自然性，证明了系统在生成节奏一致和语义明确的手势方面的稳健性。

    May, 2024

  • SynH2R：用于学习人机交接的合成手 - 物体动作

    通过引入适合训练机器人的合成数据，我们提出了一个能够生成逼真人类抓取动作的框架，通过对合成数据的纯训练，证明了我们的方法在模拟环境和真实系统中与依赖真实人类动作数据的最先进方法相媲美，并且能够扩展到更多未知物体和人类动作的大规模评估。

    Nov, 2023

  • 音频至照片级虚拟人物：对话中的人物合成

    我们提出了一个框架，用于生成根据对话动态姿势的真实感十足的全身虚拟人物。通过给定的语音音频，我们输出一个人的多个姿势动作可能性，包括面部、身体和手部动作。我们的方法的关键在于将向量量化的样本多样性与扩散所获得的高频细节相结合，以生成更动态、富有表现力的运动。我们使用高度逼真的虚拟人物来可视化生成的动作，能够表达姿势中的重要细微之处（如冷笑和假笑）。为了促进这项研究，我们介绍了一种首次出现的多视角对话数据集，可以进行逼真的重建。实验证明，我们的模型生成了适当且多样化的姿势动作，优于仅使用扩散或仅使用向量量化的方法。此外，我们的感知评估突出了逼真（与网格）对准确评估对话姿势中的细微运动细节的重要性。代码和数据集可在线获取。

    Jan, 2024

  • GestARLite：一种基于指向手指的智能手机和视频透视耳机的设备内手势界面

    我们提出了一种用于便携式可穿戴设备的新型轻量级手势识别框架，该框架由一系列最先进的深度学习模型驱动，能以实时性灵敏地识别手势，实现了 80％的分类准确度和仅 0.12 秒的平均延迟。

    Apr, 2019

  • 统一手势：一种适用于多个骨架的统一手势合成模型

    基于扩散模型的语音驱动手势综合方法 UnifiedGesture 在多个手势数据集上进行训练，通过为不同动作捕捉标准学习潜在同胚图的重定位网络，捕捉语音和手势之间的线性关系，并通过增加多样性的离散手势单元的强化学习进一步对齐语音和手势，实验证明其在语音驱动手势生成方面优于近期的方法。

    Sep, 2023

  • 基于语音识别的工具传递中的动态手势特征人机适应

    基于手势识别和动态动作识别的人机协作框架在 UR5e 机器人平台上展示出卓越的性能，提供了高效的工具传递，同时不显著干扰人类意图。

    Sep, 2023

  • Gesticulator: 一个语义感知的语音驱动手势生成框架

    本文介绍了一种基于深度学习的模型，该模型将语音的声学和语义表示作为输入，生成关节角度旋转序列作为输出，可以产生任意节拍和语义手势。

    Jan, 2020

  • ConvoFusion: 多模态会话扩散用于同步语音手势合成

    ConvoFusion 是一种基于扩散的多模态手势合成方法，通过两个引导目标实现了不同条件模态（例如音频与文本）的调节和重点单词的强调，在生成单语手势和对话式手势方面都具有多用途性。

    Mar, 2024