人形机器人的感知
该研究介绍了一个感知模型，通过协调来自不同模态的数据，构建一个完整的状态表示和吸收必要的信息，从而为开发复杂的控制策略铺平了道路。该模型基于感知输入和机器人动作之间的因果关系，采用生成模型来高效压缩融合信息并预测下一个观察值。我们首次提出了关于如何从视觉和本体感知预测触觉以及跨模态生成的研究，以及这对于软体机器人在非结构化环境中的交互的重要性。
Apr, 2024
社交机器人使用视觉感知来理解用户和环境，本研究使用深度学习模型改进了社交机器人的视觉感知功能，并通过实验评估了该功能对用户交互性能和体验的影响。
Mar, 2024
通过神经科学发现，活性推理是提升机器人算法在适应性、鲁棒性、灵活性、基础理解、安全交互等方面的潜在解决方案，通过模拟实际机器人平台的研究实验，揭示了机器人感知上的挑战和限制。
May, 2021
探讨交互感知在机器人领域的原理和应用，强调交互作用可以产生更丰富的感知信号，并且感官数据和运动参数的组合空间中的规律性知识可以促进预测和解释信号，同时分析现有工作，并提出未来需要解决的问题。
Apr, 2016
本研究通过与发展心理学家合作的定向实验，了解婴儿如何获得第一次的 “感觉 - 运动身体知识”，进而构建具有传感器官的计算模型，对多模态身体表示学习、适应和操作的机制进行研究，提出了自我接触和自我观察的办法，开发了一个校准工具箱，并在多个机器人平台上进行了实验验证，最终研究了周围空间与人类和机器人的安全合作的可能性。
Nov, 2022
自主移动机器人需要通过其载有的传感器 (如 LiDAR 和 RGB 相机) 感知环境，并做出适当的导航决策，为了在人类居住的公共空间中导航，这个导航任务不仅仅是避开障碍物，还需要考虑周围的人类及其意图，以对应社会规范进行导航行为的微小变化，机器学习方法在以数据驱动的方式捕捉这些复杂而微妙的社交互动方面显示出了有效性，而无需显式手工制作简化模型或代价函数，考虑到多种可用传感器模态和学习方法的效率，本文通过使用大规模真实数据集对使用多模态感知学习社交机器人导航进行了全面的研究，该研究分析了在不同社交场景中的全局和局部规划水平上的社交机器人导航决策，并将单模态和多模态学习与一组经典导航方法进行对比，同时从学习的角度分析了训练和泛化性能，我们还进行了一个人体研究，探究了使用多模态感知进行学习如何影响感知到的社交合规性，结果表明，与单模态学习相比，多模态学习在数据集和人体研究中具有明显优势，我们开源了代码，供社区在未来研究中使用多模态感知学习社交机器人导航。
Sep, 2023