自主移动机器人需要通过其载有的传感器 (如 LiDAR 和 RGB 相机) 感知环境，并做出适当的导航决策，为了在人类居住的公共空间中导航，这个导航任务不仅仅是避开障碍物，还需要考虑周围的人类及其意图，以对应社会规范进行导航行为的微小变化，机器学习方法在以数据驱动的方式捕捉这些复杂而微妙的社交互动方面显示出了有效性，而无需显式手工制作简化模型或代价函数，考虑到多种可用传感器模态和学习方法的效率，本文通过使用大规模真实数据集对使用多模态感知学习社交机器人导航进行了全面的研究，该研究分析了在不同社交场景中的全局和局部规划水平上的社交机器人导航决策，并将单模态和多模态学习与一组经典导航方法进行对比，同时从学习的角度分析了训练和泛化性能，我们还进行了一个人体研究，探究了使用多模态感知进行学习如何影响感知到的社交合规性，结果表明，与单模态学习相比，多模态学习在数据集和人体研究中具有明显优势，我们开源了代码，供社区在未来研究中使用多模态感知学习社交机器人导航。

Sep, 2023

对于服务机器人来说，关键是能够尽早地察觉到接近的人有意互动，以便主动采取友好行为，从而提升用户体验。我们通过一个自监督训练的序列到序列分类器来解决这个感知任务，主要研究了在这种情况下表示人的目光的特征的益处。在一个新的数据集上进行的大量实验证明，包含目光线索显著提高了分类器的性能（AUROC 从 84.5% 增加到 91.2%），能够实现准确分类的距离从 2.4 米提高到 3.2 米。我们还量化了系统在无外部监督的情况下适应新环境的能力。定性实验证明了与服务员机器人的实际应用。

Apr, 2024

本文提出了一个包含自然语言描述复杂机器人任务的数据集，以期提高机器人与人类之间的互动能力，在使用多个现实图像中的可见物体来回应多方面的指令方面进行各种复杂任务的能力是解决这一挑战的关键。我们测试了多种最先进的视觉和语言导航，以及指涉表达模型来验证这项新任务的难度，但他们中没有一个显示出有希望的结果。我们还提出了一种新颖的交互式导航 - 指针模型，为该任务提供了强有力的基线。该模型在未见测试集上表现最佳，但与人类表现相比仍有很大的改进空间。

Apr, 2019

社交机器人使用视觉感知来理解用户和环境，本研究使用深度学习模型改进了社交机器人的视觉感知功能，并通过实验评估了该功能对用户交互性能和体验的影响。

Mar, 2024

本研究针对评估社交情境对话机器人的挑战性任务，提出了一种依赖于多模态用户行为的新型客观评估方法，主要关注评估机器人的人类化程度作为主要评估指标，通过观察用户行为间接评估机器人的人类化程度，提高了客观性和可重复性，并且通过创建一个带有人类化程度得分的标注数据集，运用在一个专注听力对话语料中找到的用户行为进行了相关性分析，证明了我们提出的基于行为的评估方法的可行性。

Aug, 2023

通过视觉和语言方法的应用，本文提出了一个以真实影像为基础的强化学习环境 Matterport3D Simulator，为现实建筑物的自然语言导航问题提供了第一个基准测试数据集 Room-to-Room (R2R) dataset。

Nov, 2017

本文提出了一种基于数据驱动的框架 EMPATHIC，该框架可以从人类面部表情等隐式反馈中学习如何优化机器人执行任务的表现，其中包括使用深度神经网络将隐式反馈转化为任务统计数据以及应用该框架在机器人操纵路径评估等多个领域的实例。

Sep, 2020

本文评估了一种人机协作方案，该方案结合了任务分配和动作规划推理的层次，使用贝叶斯推理预测他的人类伴侣的下一个目标，并实时重新规划自己的行动，实现了预期的适应性，取得了良好的人 - 机表现优化。

Feb, 2018

利用深度学习模型，结合自然语言处理和机器人导航，使用关注模型以及环境的拓扑表示，将自由形式的自然语言指令翻译成行为机器人高级计划，能够显著优化传统方法的表现，并且探讨了环境地图作为知识库来促进自由形式导航指令翻译的可能性。

Sep, 2018

本文提出了一个新的学习框架，使得机器人可以成功地遵循自然语言路线指令，而无需任何先前环境的知识。该算法利用通过命令传达给机器人的空间和语义信息来学习关于空间扩展环境的度量和语义属性的分布，并将自然语言指令解释为关于预期行为的分布。通过对地图和状态分布进行推理，使用模仿学习的新型置信空间规划器直接求解策略，我们在可声控轮椅上评估了我们的框架。结果表明，通过学习和推理潜在的环境模型，该算法能够成功地遵循新颖的扩展环境中的自然语言路线指令。

Mar, 2015