Mar, 2024

在交互机器人中嵌入动态人物形象：Masquerading 动画社会动力学 (MASK)

PDF
TL;DR本文介绍了一种创新的交互式机器人系统的设计与开发，利用类似角色的人设来增强观众参与度。该系统利用了角色驱动的对话代理的基础，将其应用于物理领域，利用机器人提供更具沉浸感和互动性的体验。该系统通过使用非语言交互（包括面部表情和手势）与来宾进行交互。行为生成系统基于有限状态机结构有效地调节机器人的行为来传达不同的人设。MASK 框架集成了感知引擎、行为选择引擎和综合动作库，以实现实时、动态的互动，在行为设计上减少了人的干预。通过用户实验研究，我们考察了用户能否在基于电影角色的人设条件下认出预期角色。最后讨论了人设在交互代理中的作用以及创建引人入胜的用户体验需要考虑的因素。
interactive robotic systempersona-driven dialog agentsfacial expressions and gesturesbehavior generation systemengaging user experience
发现论文，激发创造
  • 通过语音驱动动态电子人面部表情

    通过使用皮肤中心化方法，本文提出了一种从语音驱动动画机器人面部表情的原则性方法，该方法能够实时生成高度逼真的面部表情，从而显著提高机器人复制细致人类表情以进行自然互动的能力。

    Mar, 2024

  • 数字生活计划：具备社交智能的自主 3D 人物

    利用语言作为通用媒介构建自主三维角色的数字生活项目 (Digital Life Project) 框架，使其能够参与社交互动、表达并模拟数字环境中的生活；该框架包含两个主要组件：SocioMind 模块和 MoMat-MoGen 模块，通过认知建模和运动生成控制角色的数字化行为，实现了自主对话和情感进化，同时具备相关身体运动及人类玩家互动响应能力。

    Dec, 2023

  • 基于注意力的虚拟现实面部动画与视觉口腔摄像头引导的沉浸式远程互动化身

    在虚拟现实环境中，我们提出了一种使用关键点和嘴部摄像头的混合方法来进行面部动画，以传达情感信号和模拟与特定个体互动的感知。我们的方法通过捕获两个短视频进行快速注册，利用多个源图像来覆盖不同的面部表情，并将嘴部摄像头信息注入潜在空间以解决关键点的歧义并实现更广泛范围的嘴部表情动画。该方法在质量、能力和时间一致性方面优于基线，并在 ANA Avatar XPRIZE 决赛中的胜利中突显了面部动画的贡献。

    Dec, 2023

  • 知识边界与角色动态塑造：打造更出色的社交媒体代理

    建立个性化和拟人化的代理在社交网络模拟中具有重要意义，但现有研究中仍存在两个关键问题：代理具有不属于其角色的世界知识，并且无法消除多样化角色信息对当前行动的干扰，从而降低了代理的个性化和拟人化。为了解决上述问题，我们基于个性化知识和动态角色信息构建社交媒体代理，并设计了与社交媒体适配的五个基本模块，通过社交媒体模拟沙盒提供交互和验证环境。实验验证以及自动和人工评估结果证明了我们构建的代理的有效性。

    Mar, 2024

  • 基于社交动作预测的机器人交互行为生成

    在本文中，我们提出了一种在共享的人机表示空间中建模社交动作预测的方法，通过这种方法我们能够合成与人类在社交场景中相互作用的机器人动作，即使在运动训练中没有观察到任何机器人。我们开发了一种名为 ECHO 的基于 Transformer 的架构，在上述共享空间中操作来预测社交场景中遇到的个体未来动作。与先前的工作相反，我们重新制定了社交动作问题，将其视为根据周围的个体来改进预测的单个动作的问题，这有助于训练，并且在场景中只有一个人时允许进行单个动作预测。我们在多人和人机动作预测任务中评估了我们的模型，并且取得了领先的性能，而且具有高效和实时执行的特点。此外，我们的定性结果展示了我们的方法通过文本命令生成可控制的人机交互行为的有效性。

    Feb, 2024

  • 面向社交机器人的数据驱动情感身体语言生成

    采用深度学习生成模型来生成机器人情感表情，通过几个手动设计的机器人身体表达生成一个新的符合上下文感知的表达。评估结果表明，生成的表情与手动设计的表情没有显著差异，且能达到不同目标情绪的效果。

    May, 2022

  • MoMask: 生成式遮蔽建模 3D 人体动作

    MoMask 是一种新颖的掩码建模框架，用于文本驱动的 3D 人体动作生成，通过分层量化方案将人体动作表示为多层离散动作令牌，并使用两个不同的双向转换器进行预测和填补，实验证明在文本到动作生成任务中，MoMask 在 HumanML3D 数据集上的 FID 为 0.045（相较于 T2M-GPT 的 0.141）以及在 KIT-ML 上的 FID 为 0.228（相较于 0.514），同时可以无缝应用于文本引导的时间修补等相关任务。

    Nov, 2023

  • 自带角色：定制角色自动面部动画生成的整体解决方案

    提出了一种全面的解决方案，通过深度学习模型将面部表情从输入面部图像转移到虚拟人脸，实现虚拟人物面部动画的自动化。使用 Unity 3D 开发了实用工具包，可接受图像和视频作为输入，以动画形式呈现目标虚拟人脸，并允许用户对动画结果进行操作。通过用户反馈不断改进模型和工具包的性能，从而增加了定制化属性以适应用户偏好。整个解决方案有助于加速用于虚拟现实应用的面部动画的生成。

    Feb, 2024

  • Social-MAE：多人动作表示学习的社交遮罩自编码器

    为了理解多人场景，我们引入了 Social-MAE，一种基于 transformer 的带掩码自编码器框架，用于多人人体运动数据，并在高级社交任务中达到了最先进的结果。

    Apr, 2024

  • 互动机器人：在线全身动作反应合成与社会能力规范化和预测

    我们提出了一种名为在线全身动作反应合成的新任务，该任务是基于人类行为者的动作生成机器人反应。我们构建了两个数据集，分别命名为 HHI 和 CoChair，并提出了一种统一的方法，通过构建社交能力表示，预测反应的未来情景，并验证了在现有人类互动数据集 Interhuman 和 Chi3D 上的有效性。

    Dec, 2023