Dec, 2023

BOTH2Hands: 从文本提示和身体动力学推断三维手部姿态

PDF
TL;DR提出了用于生成双手动作的新型多模态数据集 BOTH57M，包括准确的人体和手部动作跟踪、手指级别的手部标注和身体描述。使用两个并行的身体到手部和文本到手部扩散模型，通过交叉注意力变换器实现动作融合，从混合的身体和文本条件中生成令人信服的双手动作。将数据集和源代码提供给社区进行未来研究。
text-to-motion advancestwo-hand motion generationboth57m datasetmotion blendinghybrid body-and-textual conditions
发现论文，激发创造
  • Body2Hands：从对话手势身体动态中学习推断三维手部模型

    本文提出了一种基于学习深度先验的新型 3D 手部形态综合和估计方法，其中利用了身体运动和手势之间的相关性，采用网络进行 3D 手部姿态估计训练并得到了优良的效果。

    Jul, 2020

  • HandDiffuse: 通过扩散模型生成的双手交互控制器

    提出了一个新的数据集 HandDiffuse12.5M，它是一个包含强烈的双手互动时间序列的数据集，用于可控的互动手势生成；通过扩散模型和设计不同控制器的两种运动表示方法，进一步提出了强基准方法 HandDiffuse；实验证明，该方法在运动生成方面优于现有技术，同时可用于其他数据集的数据增强。

    Dec, 2023

  • 通过双手解耦进行身体动力学生成的多样化三维手势预测

    本文介绍一种新型双手解缠的两阶段三维手势生成方法，以从身体动态中实现自然且多样化的三维手势预测，并通过渐进式采样进一步多样化手势预测。

    Mar, 2023

  • 单目事件相机下两只交互手的 3D 姿态估计

    提出了首个从单目事件摄像机中跟踪两只快速移动和互动的手的三维跟踪框架，通过新颖的半监督特征注意机制解决左右手歧义并整合相交损失来修复手的碰撞，推出了新的大规模数据集 Ev2Hands-S 和真实事件流与真实三维标注的基准数据集 Ev2Hands-R，并在强光条件下对真实数据具有更高的三维重建精度。

    Dec, 2023

  • 从视频中学习基于语音的 3D 对话手势

    利用 CNN 架构及 GAN 模型自动综合逼真的 3D 虚拟人物之肢体手势，面部表情和语音生成，同时创造出三维身体、手部和面部数据，并利用多模态的 3D 姿态估计技术和训练，实现更加自然流畅的合成动画。

    Feb, 2021

  • HumanTOMATO: 文本对齐的全身动作生成

    该研究提出了一个全新的基于文本驱动的整体运动生成任务，以给定的文本描述为输入，并旨在同时生成高质量、多样且连贯的面部表情、手势和身体动作。该研究通过一个名为 HumanTOMATO 的文本对齐全身运动生成框架，解决了以往关于文本驱动动作生成任务的两个限制，即忽视了精细的手部和面部控制在栩栩如生的整体运动生成中的重要作用，并且缺乏文本和运动之间的良好对齐。通过全面实验证明，该模型在生成的动作质量和与文本的对齐方面具有显著优势。

    Oct, 2023

  • Text2HOI: 文本引导的手 - 物互动三维运动生成

    该研究论文介绍了一项基于文本指导的生成 3D 手物交互序列的工作，并提出了两个子任务：手物接触生成和手物运动生成。通过使用变分自编码器和 Transformer 扩散模型，在文本提示下生成物理上合理的手物交互动作，并通过一种手优化模块改善了接触的时序稳定性和穿透问题。对比基准方法，该方法生成的交互更加真实和多样，并且适用于未知物体。

    Mar, 2024

  • Text2Gestures：基于 Transformer 的网络，用于为虚拟代理人生成表情身体动作

    介绍了一种使用基于变压器的学习方法来生成虚拟代理与自然语言输入对应的带有情感表达的全身手势的方法，通过使用生物力学的特征和考虑目标虚拟代理的性别和利手性，该方法能以交互性的速度在图形处理器上产生实时且富有表现力的手势，经过网页用户研究，其生成的手势在趋向性和情感上与预期高度吻合。

    Jan, 2021

  • 利用多模态数据进行单目实时手部形状和运动捕捉

    本研究提出了一种能够在 100fps 下具有最先进精度的单目手部形状和姿态估计新方法，它采用的是一种新的基于学习的架构设计，使其能够利用三维或二维标注图像数据以及独立的三维动画等所有可用的手部训练数据。该方法的输出使其更适用于计算机视觉和图形学领域中的应用，并且在数个具有挑战性的基准测试中取得了显著的定量和定性改善。

    Mar, 2020

  • 运动约束的类人双臂机器人与人的交接

    提出了一个框架来生成运动学约束的类人双手机器人运动，以确保人与机器之间物体的顺畅和自然的交接。通过使用隐藏半马尔可夫模型（HSMM）根据观察到的人的动作生成适当的响应轨迹，通过任务空间约束调整轨迹以确保准确的递交。通过一项试点研究的结果表明，与基线逆运动学方法相比，我们的方法被认为更类似于人类。

    Feb, 2024