Feb, 2024

基于社交动作预测的机器人交互行为生成

PDF
TL;DR在本文中，我们提出了一种在共享的人机表示空间中建模社交动作预测的方法，通过这种方法我们能够合成与人类在社交场景中相互作用的机器人动作，即使在运动训练中没有观察到任何机器人。我们开发了一种名为 ECHO 的基于 Transformer 的架构，在上述共享空间中操作来预测社交场景中遇到的个体未来动作。与先前的工作相反，我们重新制定了社交动作问题，将其视为根据周围的个体来改进预测的单个动作的问题，这有助于训练，并且在场景中只有一个人时允许进行单个动作预测。我们在多人和人机动作预测任务中评估了我们的模型，并且取得了领先的性能，而且具有高效和实时执行的特点。此外，我们的定性结果展示了我们的方法通过文本命令生成可控制的人机交互行为的有效性。
发现论文，激发创造
  • 社交和情境感知的人体运动和姿势预测

    本文提出了一种新的框架来处理机器人导航中预测人类动态的问题，该框架将人类运动（或轨迹）和骨骼姿态预测这两个任务统一起来，并考虑到了场景和社交上下文等多种因素，最终在两个社交数据集上表现优异。

    Jul, 2020

  • 互动机器人：在线全身动作反应合成与社会能力规范化和预测

    我们提出了一种名为在线全身动作反应合成的新任务，该任务是基于人类行为者的动作生成机器人反应。我们构建了两个数据集，分别命名为 HHI 和 CoChair，并提出了一种统一的方法，通过构建社交能力表示，预测反应的未来情景，并验证了在现有人类互动数据集 Interhuman 和 Chi3D 上的有效性。

    Dec, 2023

  • 物理学和神经网络的有益结合：可靠高效的人体运动预测生成

    使用特殊的神经网络，将 Social Force Model 嵌入结构，提高人类运动的预测精度和安全性，解释可行，且具有广阔的应用前景和实验支撑。

    Jun, 2020

  • 社交动作预测与认知层次

    通过多智能体强化学习、行为克隆和生成对抗性模仿学习，以及认知级别层次框架，我们在团队运动的背景下，引入了一个新的基准、一种新的公式和一个受认知启发的框架，以预测战略人类社交互动。我们通过使用 Wusi，一个 3D 多人动作数据集来验证我们的方法和数据集的有效性。

    Nov, 2023

  • 能够看到的机器人：利用人体姿势进行轨迹预测

    通过使用 Transformer 架构，从人体位置、头部朝向和三维关键点等输入特征来预测人类在人类中心环境中未来的轨迹，该模型捕捉了未来人类轨迹预测中的内在不确定性，并在常见预测基准和适用于预测任务的移动机器人跟踪数据集上取得了最先进的性能。在这种具有挑战性场景中，我们发现历史数据有限的新主体是错误的主要来源，并展示了三维骨骼姿势在减少预测误差方面的互补性。

    Sep, 2023

  • 拥挤空间中基于社交及场景感知的轨迹预测

    基于 LSTM 模型及人际交互、过往观测、周围空间语义等多重因素，预测人在城市场景中的运动方向的方法在测试中证明比传统 LSTM 模型准确，成为开发自动驾驶车辆与社交性机器人必不可少的一步。

    Sep, 2019

  • 在拥挤环境中探索社交动作潜空间和人类意识以实现有效的机器人导航

    本研究提出了一种新方法，通过从社交动作潜空间中学习生成机器人控制来实现社交机器人导航。该方法在社交导航度量指标（如成功率、导航时间和轨迹长度）方面取得了显著改进，同时产生更平滑（较小加速度和角度偏差）和更具预测性的轨迹。通过与基准模型在不同场景下的比较，验证了该方法的优越性。此外，引入了人类对机器人的认知概念到社交机器人导航框架中，表明融入人类的意识可以导致更短、更平滑的轨迹，因为人类能够与机器人积极互动。

    Oct, 2023

  • 社交关注：人类群体中的关注建模

    提出了一种社交关注的轨迹预测模型，该模型可以捕获人们在拥挤环境中导航时每个人的相对重要性，不受其接近性的限制。该模型通过对两个公开数据集的表现进行实证分析，对比了现有方法的性能，并分析了训练后的注意力模型，以获得更好地理解人类在拥挤环境中导航时关注周围团队的特点。

    Oct, 2017

  • 自我的场景感知人体轨迹预测

    利用身体携带的相机和传感器，通过对用户的视角进行全景导航数据收集，提出了一种基于周围静态场景的人体运动预测方法，该方法利用扩散模型生成潜在的未来轨迹分布，并引入了一种紧凑表示方法来编码用户对环境的视觉记忆，以及一种高效的样本生成技术来加速扩散模型的实时推理。对模型进行了实验和基准测试，结果表明该模型在避免碰撞和轨迹模式覆盖等关键指标上优于现有方法。

    Mar, 2024

  • 社交转动：可提示的人类轨迹预测

    通过引入 Social-Transmotion，我们介绍了一种利用 transformer 处理多样化和大量视觉线索、捕捉人类行为多模态特性的通用模型，在人类轨迹预测任务中翻译自然语言处理中 prompt 的思想并扩充了轨迹数据，从而实现了增强的人类轨迹预测效果。

    Dec, 2023