该论文提出了一个半监督 GAN 系统,用于合成一个角色的反应动作,给定来自另一个角色的活动动作。通过使用基于部分的 LSTM 模块和判别器来实现对复杂的时空信息和不同类型交互的监督,证明了该系统的有效性和鉴别性。
Oct, 2021
本研究提出了一种名为 COINS 的生成模型,可以在高级语义规格的控制下合成 3D 场景内与虚拟人之间的自然互动,该模型通过编码统一的潜在空间和位置编码来嵌入互动语义,并可以自然地合成多个对象之间的组合互动,实验结果表明该模型可以合成具有语义控制的真实人 - 场景交互。
Jul, 2022
本研究提出了一种基于交互 Transformer 的新模型,该模型结合了时间和空间的注意力机制,通过使用图形和交互距离模块进一步提高了空间注意力的性能,可用于生成更复杂和长期的交互动作。
我们提出了一种名为在线全身动作反应合成的新任务,该任务是基于人类行为者的动作生成机器人反应。我们构建了两个数据集,分别命名为 HHI 和 CoChair,并提出了一种统一的方法,通过构建社交能力表示,预测反应的未来情景,并验证了在现有人类互动数据集 Interhuman 和 Chi3D 上的有效性。
Dec, 2023
本文提出了一种新框架,将场景和人体运动相互作用考虑在内,使用生成任务将人体运动的分布因子分解,并使用基于 GAN 的学习方法来提高其有效性。文中讨论了两个数据集结果,涵盖了真实和合成环境。
May, 2021
本研究旨在探讨合成人类能否提高人类动作识别的性能,特别关注对不寻常拍摄视角的泛化能力,研究发现数据的合成和扩充可以带来性能的提升。
Dec, 2019
本文介绍了 SocialInteractionGAN—— 一种新颖的基于数据驱动的对抗性生成网络框架,其旨在以单模态展示的相互作用为重点,以离散多序列生成问题为基础,以建立在递归编码器 - 解码器生成网络和双流鉴别器之上的方法来处理相互作用的生成问题。实验结果表明,SocialInteractionGAN 能成功地生成以人为中心的高真实感互动动作序列,这对社交机器人或人工头像的设计具有重要应用。
Mar, 2021
本文提出了一种基于生成对抗网络 (GAN) 的生成模型,通过学习自然语言和人类行为之间的关系,在给定人类行为描述的句子的情况下生成一个人类行为序列;使用这个模型,可以使用文本编码器 RNN 和行为解码器 RNN 为机器人或虚拟代理人合成各种操作, 并通过大规模视频数据集 MSR-Video-to-Text (MSR-VTT) 进行训练,生成能够转移到 Baxter 机器人上的人类操作。结果表明,该生成对抗网络正确地建立了语言和行为之间的关系,可以从同一句子中生成不同的动作。
Oct, 2017
该研究提出了一种基于视频的真实人物动画生成方法,利用中等质量的可控 3D 模板模型和神经网络技术,成功实现了人物形象的逼真渲染和编辑。
Sep, 2018
通过前向动力学引导的 4D 模仿方法,我们提出了一种生成物理可行的人类反应的方法,该学习策略能够在实时中生成物理可行和类人的反应,显著提高了反应的速度(33 倍)和质量,与现有方法相比。我们在 InterHuman 和 Chi3D 数据集上的实验及消融研究证明了我们方法的有效性。
Apr, 2024