自主移动机器人需要通过其载有的传感器 (如 LiDAR 和 RGB 相机) 感知环境，并做出适当的导航决策，为了在人类居住的公共空间中导航，这个导航任务不仅仅是避开障碍物，还需要考虑周围的人类及其意图，以对应社会规范进行导航行为的微小变化，机器学习方法在以数据驱动的方式捕捉这些复杂而微妙的社交互动方面显示出了有效性，而无需显式手工制作简化模型或代价函数，考虑到多种可用传感器模态和学习方法的效率，本文通过使用大规模真实数据集对使用多模态感知学习社交机器人导航进行了全面的研究，该研究分析了在不同社交场景中的全局和局部规划水平上的社交机器人导航决策，并将单模态和多模态学习与一组经典导航方法进行对比，同时从学习的角度分析了训练和泛化性能，我们还进行了一个人体研究，探究了使用多模态感知进行学习如何影响感知到的社交合规性，结果表明，与单模态学习相比，多模态学习在数据集和人体研究中具有明显优势，我们开源了代码，供社区在未来研究中使用多模态感知学习社交机器人导航。

Sep, 2023

研究通过探索机器人学习与人类互动，并研究多元输入模式对学习结果的影响，引入了 “元模态” 这一概念，包含了传统偏好和标量反馈机制之外的其他反馈形式，不同于以往仅关注于单个元模态的研究，本研究评估了它们在学习结果上的综合效应，研究发现，虽然单个模态的感知不同，但它们的组合显著改善了学习行为和可用性，这项研究不仅为人机互动任务学习的优化提供了有价值的见解，而且为增强用户在这类环境中的互动自由度和支持能力开辟了新途径。

May, 2024

本文提出了一个多通道通信框架，通过结合音频和手势命令的多模态融合，实现了人与机器人之间的自然高效沟通，并且始终遵守安全规定。通过比较实验验证了该框架的有效性，证明了多模态沟通使得机器人能够提取有价值的信息并且通过安全层适应速度以确保操作人员的安全。

Aug, 2023

本研究采用强化学习方法建立了一个多模态情感交互框架，利用人类用户的情感状态作为交互的奖励因素，优化了机器人的行为策略，并针对用户进行个性化情感交互来增强社交场景下机器人的自然性和吸引力。

Oct, 2021

该论文提出了一种新颖的基于学习的多模态融合框架 (BMCLOP) 用于辅助老年人，该框架结合贝叶斯多模态融合方法和批量置信度学习算法，提高准确性、降低不确定性并在交互条件下获得更可靠的结果。

May, 2024

我们提出了一种方法来改善嵌入式对话代理的交互，该方法基于 Conversation Analytic 的序列和多模态分析，使用实例是 Pepper 机器人在图书馆中向用户提供信息和指导，通过创建一个自然发生的交互语料库并提供给社区，提出并学习更好的交互模式。为此，我们提出了一种基于语言和多模态资源在人机交互中的理论基础的注释实践。

Aug, 2023

通过让人形机器人玩井字棋的学习方法，成功探索了多模态深度强化学习、机器人视觉感知和交互等方向，并利用语音、视觉和手势等方式让机器人在该游戏中实现了高效而自然的交互。

Nov, 2016

我们研究使用非语言行为线索和机器学习技术来预测人们对机器人行为的印象，通过观察类型的不同组合以及人类和监督学习技术的预测能力分析发现，面部表情和空间特征对人类对机器人表现的印象有用，而导航场景中的空间特征是这种推断任务中最关键的信息。在二元分类中，人类预测和机器学习模型的 F1 分数提高了一倍以上，表明它们在判断机器人表现的方向性上比精确预测性能评级更好。基于我们的研究结果，我们提供了在真实导航场景中实施这些预测模型的指南。

Oct, 2023

本文介绍了利用自然语言任务进行协作的实体代理模型，发展出了可扩展的数据收集工具，并采集了互动立足语言理解的第一个数据集，以便进一步研究机器模拟人类智能适应新任务与环境的能力。

Nov, 2022

该研究提出了一个多模态（视觉和语言）基准，用于合作和异构多智能体学习。研究介绍了一个基准多模态数据集和一致的评估协议，并探讨了不同模态对多智能体学习性能的影响，同时也介绍了智能体之间的简单信息传递方法。结果表明，在这种设置下，多模态引入了合作多智能体学习的独特挑战，并且在提高多智能体强化学习方法方面还有很大的改进空间。

Aug, 2022