Oct, 2022

HUMANISE: 3D 场景中基于语言条件的人类运动生成

PDF
TL;DR提出了一个名为 HUMANISE 的大规模、语义丰富的合成 HSI 数据集，并开展了一项名为 Language-conditioned Human Motion Generation 的新一代任务，以及相应的在场景和语言指导下的生成模型，该模型能够在 3D 场景中产生多样化且语义一致的人体动作。
human-scene interactionhsi datasetlanguage-conditioned human motion generationgenerative model3d scenes
发现论文，激发创造
  • 激光人：自由环境下基于语言引导的场景感知人体运动生成

    为了解决现有数据集的限制，我们引入了 LaserHuman，这是一个开创性的数据集，旨在革新 Scene-Text-to-Motion 研究。LaserHuman 通过包含 3D 环境中的真实人类动作，自由形式的自然语言描述，室内外场景的混合以及动态、不断变化的场景而脱颖而出。多样的采集数据和丰富的注释为条件运动生成研究提供了巨大机遇，也可以促进实际应用的开发。此外，为了生成语义一致且物理可行的人体动作，我们提出了一个简单但有效的多条件扩散模型，在现有数据集上达到了最先进的性能。

    Mar, 2024

  • 在 3D 室内场景中合成多样的人体动作

    提出了一种基于强化学习的方法来处理 3D 室内场景中虚拟人类与环境以及物体的交互，包括生成运动模型、创新的碰撞回避奖励函数、基于标记体和半径场的交互感知奖励函数以及训练策略等多个方面，实验结果表明，该方法在运动的自然性和多样性方面都优于现有的人 - 场景交互综合框架。

    May, 2023

  • 自然移动，灵活互动：利用场景可控生成语言引导的人体动作

    在 3D 环境中，尽管在文本到运动合成方面取得了重大进展，但仍存在许多挑战，我们通过引入一种新的两阶段框架，使用场景赋能作为中间表示，有效地链接 3D 场景定位和条件运动生成，克服了生成多模态条件信号下的人类运动困难，特别是在缺乏广泛的语言 - 场景 - 运动数据对的有限数据训练时，验证了模型的出色泛化能力。

    Mar, 2024

  • 从文本描述中生成三维场景的人类动作

    通过将任务分解为两个可管理的子问题：目标对象的语言准确性和以目标对象为中心的运动生成，本文提出了一种新的方法来生成给定人 - 场景交互文本描述的 3D 室内场景中的人体动作，实验表明我们的方法在运动质量方面优于基线并验证了我们的设计选择。

    May, 2024

  • HSPACE：在复杂环境中动态合成参数人形

    通过构建大规模逼真人体运动数据集，对合成与真实数据进行综合分析，以提高在多人实际场景下的人体姿态及形状识别技术应用的效果。

    Dec, 2021

  • 重新审视人 - 场景交互的空间占用

    人 - 场景交互生成是一项具有挑战性且关键的任务，但是受到有限的数据规模的限制。通过将纯运动序列视作与不可见场景占用交互的记录，利用大规模配对的数据集 Motion Occupancy Base（MOB），我们提出了一种新的人 - 占有交互的统一视角。在 MOB 上训练的单个运动控制器可以处理狭窄的场景，并在复杂度有限的一般场景中具有良好的泛化性。我们的方法可以在各种场景中生成逼真且稳定的人 - 场景交互动作。

    Dec, 2023

  • 面向场景的人体运动合成生成网络

    本文提出了一种新框架，将场景和人体运动相互作用考虑在内，使用生成任务将人体运动的分布因子分解，并使用基于 GAN 的学习方法来提高其有效性。文中讨论了两个数据集结果，涵盖了真实和合成环境。

    May, 2021

  • 面向多样化和自然的场景感知 3D 人体运动合成

    本文针对现有智能场景下的动作合成技术存在的目标、位置预定及动作多样性不足等问题，提出了一种基于多样性因素的分层框架方法，以提高人类动作合成的自然度与多样性。实验表明，该框架在场景感知的人类动作合成中具有很好的效果。

    May, 2022

  • 多模态感知驱动的三维人体动作预测

    未来人体姿势预测是机器智能的基本应用，本研究引入了一种新的多模态感知驱动的运动预测方法，通过结合外部 3D 场景和内部人类凝视信息来实现高保真度的生成，同时考虑人的意图和场景的语义连贯性，该方法在 3D 人体姿势和轨迹预测上取得了最先进的性能。

    May, 2024

  • 在 3D 场景中合成长期的 3D 人体动作和互动

    本文提出一种层次生成框架，通过优化多个几何约束和建模场景互动和应用来合成涉及长期 3D 人体动作的逼真生成，并在实验中得出了比之前更好的实验结果。

    Dec, 2020