通过互补性的导航和操作，将机器人的环境感知与行为规划相结合，实现了在日常任务中的协调性行为，从而改善了现有技术。验证了该方法在模拟和真实环境中的有效性，并能够适应新颖的未知环境，无需额外调优。

Dec, 2023

构建一个互动的人工智能助手，能够感知、推理并与人类在现实世界中合作，一直以来都是人工智能领域的追求之一。本研究是开发能够与人类互动地指导执行现实世界任务的智能代理的广泛研究努力的一部分。作为这个方向的首要步骤，我们介绍了 HoloAssist，一个大规模的自我中心人际交互数据集，在该数据集中，两个人共同完成物理操纵任务。任务执行者佩戴混合现实头盔执行任务，同时捕捉七个同步数据流。任务指导者实时观看执行者的自我中心视频并给予指导。通过注释行为和对各参与者丰富行为的观察，我们提供了人类助手如何纠正错误、介入任务完成过程并将指令落地到环境的关键见解。HoloAssist 涵盖了由 350 对独特的指导者 - 执行者捕获的 166 小时数据。此外，我们构建并展示了关于错误检测、介入类型预测和手部预测的基准，以及详细的分析。我们期望 HoloAssist 将为在现实世界中与人类流畅协作的 AI 助手的构建提供重要资源。数据可从此 URL 下载。

Sep, 2023

本研究采用强化学习方法建立了一个多模态情感交互框架，利用人类用户的情感状态作为交互的奖励因素，优化了机器人的行为策略，并针对用户进行个性化情感交互来增强社交场景下机器人的自然性和吸引力。

Oct, 2021

通过研究人工和机器人合作探索远程地点时的多模态交流，我们发现不同的模态使用策略可能与多个探索子任务的成功相关，并且请求照片的策略可能改进了某些关键实体的识别和计数，未妨碍整体区域的探索。

Oct, 2023

本文研究采用运动传感器技术对有限活动能力的人体上半身动作进行捕捉，将其作为输入来控制 7 自由度辅助机器臂。通过对两位参与者的实验数据进行初步分析，观察到利用机器智能可以发现高维机器人控制中一些关键的难点和不一致性，从而促进未来接口学习的发展。

Oct, 2021

通过使用一个新型的人机协作系统，允许人类操作员与机器人共同控制机器人末端执行器，从而实现了同时进行人类示范收集和机器人操作教学，以提高数据收集效率和降低人类适应性需求。

Jun, 2024

本文介绍一个从人与人互动学习到人机互动的方法，通过使用隐马尔可夫模型作为潜在空间先验，并结合变分自编码器来建模互动代理之间的联合分布。利用从人与人互动中学习到的互动动力学来学习人机互动，并将人类观测结果作为训练基础，从而预测更准确的机器人轨迹。进一步通过逆运动学调整生成的机器人动作，以确保与人之间的期望物理接近性，结合了关节空间学习的便利性和准确的任务空间可达性。在富含接触的互动中，我们利用 HMM 分割来调节机器人的刚度以实现柔顺的互动。通过用户评测，我们验证了所提方法在一个人形机器人上的有效性。尽管仅通过两个人的数据进行训练，我们的方法在不同人类之间表现出很好的泛化性能。实验结果表明，用户认为我们的方法更具人性化、及时性和准确性，并且较其他基准方法更具优势。

Nov, 2023

本文发现，缺少可用于训练和测试信号处理和机器学习算法的具有代表性的数据集，介绍并放出了一个包含超过 5 小时多模态数据的数据集，以便建立多模态 AR 方案以减少鸡尾酒会效应。

Jul, 2021

介绍了 JRDB 数据集，该数据集是从社交机器人 JackRabbot 采集的一系列包括 RGB 视频、点云、音频信号等多模态数据，并标记了超过 230 万个包围框及 3500 个时间连续轨迹，其可用于研究以机器人视角为主的视觉算法、人物探测和自主导航等领域。

Oct, 2019

本研究提供了一个合成的多模态数据集，通过融合来自 3D 虚拟空间模拟器的视频数据与描绘活动时空上下文的知识图谱，该数据集旨在用于社会问题的知识图谱推理挑战（KGRC4SI），重点是识别和解决家庭环境中的危险情况，该数据集对于研究人员和从业者开发创新解决方案，以识别人类行为以提升安全和福祉而言，可作为宝贵的资源对公众开放。

Jan, 2024