通过研究人工和机器人合作探索远程地点时的多模态交流，我们发现不同的模态使用策略可能与多个探索子任务的成功相关，并且请求照片的策略可能改进了某些关键实体的识别和计数，未妨碍整体区域的探索。

Oct, 2023

研究了人类与机器人进行任务协作时的语言交流方式问题，提出了一种方法，使机器人能够通过口头命令或状态传递行为进行最佳决策，并通过实验验证了使用口头命令是在保持用户信任的同时提高有效沟通的最佳方式。

Jun, 2017

本研究采用强化学习方法建立了一个多模态情感交互框架，利用人类用户的情感状态作为交互的奖励因素，优化了机器人的行为策略，并针对用户进行个性化情感交互来增强社交场景下机器人的自然性和吸引力。

Oct, 2021

本文介绍了一种集成框架，用于支持主动的人机协作，并解决了数据稀缺、人员行为多样、交互安全不确定等问题。实验表明，该框架在 Kinova Gen3 机器人的组装任务中，能有效地提高任务效率，以及确保主动协作的安全性。

Jun, 2023

该论文提出了一种新颖的基于学习的多模态融合框架 (BMCLOP) 用于辅助老年人，该框架结合贝叶斯多模态融合方法和批量置信度学习算法，提高准确性、降低不确定性并在交互条件下获得更可靠的结果。

May, 2024

虚拟现实在多个领域中得到了证明：从游戏、医学和培训到人机协作界面的开发，它能够帮助设计师在超越真实环境限制的情况下探索应用，并开发创新的解决方案和体验。对于在虚拟领域借助自然而直观的手势实现协同机器人操作，需要创建大量的数据集，以便使工作界面易于学习和灵活添加手势。由于计算或经济限制，这可能具有一定的挑战性，因此将在真实环境中表现良好的深度学习模型调整到虚拟领域可能是解决方案。本文提出了一个系统的框架，通过虚拟数据集的有限大小实现从真实到虚拟的适应，并提供了创建策划数据集的指导方针。最后，虽然手势被视为通信模式，但所提供的指南和建议是通用的，适用于其他模式，如身体姿势和面部表情，这些模式在真实领域中有大量可用的数据集，需要适应到虚拟领域。

Jul, 2023

研究通过探索机器人学习与人类互动，并研究多元输入模式对学习结果的影响，引入了 “元模态” 这一概念，包含了传统偏好和标量反馈机制之外的其他反馈形式，不同于以往仅关注于单个元模态的研究，本研究评估了它们在学习结果上的综合效应，研究发现，虽然单个模态的感知不同，但它们的组合显著改善了学习行为和可用性，这项研究不仅为人机互动任务学习的优化提供了有价值的见解，而且为增强用户在这类环境中的互动自由度和支持能力开辟了新途径。

May, 2024

研究了触觉反馈在人类合作物理任务中的作用，发现有触觉反馈时，人类更容易协调合作，并且强调了触觉通信在人机物理交互中的重要性。

Mar, 2022

自主移动机器人需要通过其载有的传感器 (如 LiDAR 和 RGB 相机) 感知环境，并做出适当的导航决策，为了在人类居住的公共空间中导航，这个导航任务不仅仅是避开障碍物，还需要考虑周围的人类及其意图，以对应社会规范进行导航行为的微小变化，机器学习方法在以数据驱动的方式捕捉这些复杂而微妙的社交互动方面显示出了有效性，而无需显式手工制作简化模型或代价函数，考虑到多种可用传感器模态和学习方法的效率，本文通过使用大规模真实数据集对使用多模态感知学习社交机器人导航进行了全面的研究，该研究分析了在不同社交场景中的全局和局部规划水平上的社交机器人导航决策，并将单模态和多模态学习与一组经典导航方法进行对比，同时从学习的角度分析了训练和泛化性能，我们还进行了一个人体研究，探究了使用多模态感知进行学习如何影响感知到的社交合规性，结果表明，与单模态学习相比，多模态学习在数据集和人体研究中具有明显优势，我们开源了代码，供社区在未来研究中使用多模态感知学习社交机器人导航。

Sep, 2023

本文提出人机协作的安全机器强化学习框架，包含安全探索，安全价值对齐，以及安全协作三个阶段，并探讨了机器强化学习中交互行为的四个技术挑战。

Feb, 2023