本研究通过与发展心理学家合作的定向实验，了解婴儿如何获得第一次的 “感觉 - 运动身体知识”，进而构建具有传感器官的计算模型，对多模态身体表示学习、适应和操作的机制进行研究，提出了自我接触和自我观察的办法，开发了一个校准工具箱，并在多个机器人平台上进行了实验验证，最终研究了周围空间与人类和机器人的安全合作的可能性。

Nov, 2022

本文提出一种认知启发的、多模态获取模型，通过跨模态自监督在自然数据上从图像 - 标题对进行训练，展示了该模型学习词汇分类和物体识别能力，并展现了类似于发展心理学文献中报告的趋势。我们公开了我们的代码和训练模型，供未来参考和使用。

May, 2022

为了发展具有人类级社交智能的机器，我们引入了一种多模式心智问答（MMToM-QA）基准，它综合评估机器的心智理解能力，并基于多模式数据和关于家庭环境中人物活动的不同类别的单模式数据。为了实现多模式心智能力，提出了一种新方法 BIP-ALM（基于语言模型的贝叶斯逆规划加速），它从多模式数据中提取统一的表示，并利用语言模型进行可扩展的贝叶斯逆规划。与人类表现、BIP-ALM 和包括 GPT-4 在内的先进模型进行了系统比较，实验表明大型语言模型和大型多模式模型仍然缺乏强大的心智理解能力，而 BIP-ALM 则通过利用基于模型的心智推理和语言模型的能力展现了有希望的结果。

Jan, 2024

本文基于 CONAIM 模型，以增量方式学习程序，并通过增加学习过程的奖励函数提高认知代理的认知复杂性，从而解决了复杂任务。

Apr, 2023

本文介绍了利用自然语言任务进行协作的实体代理模型，发展出了可扩展的数据收集工具，并采集了互动立足语言理解的第一个数据集，以便进一步研究机器模拟人类智能适应新任务与环境的能力。

Nov, 2022

本文研究了多模态经验、语言学习和具体到抽象的词汇发展历程，并提出了一种结合当代模型和基于词汇的模型的语义模型，并使用机器人对话系统来学习语言。

May, 2021

通过深度学习使自主系统能够在感知的亚符号方式下逐渐理解对象及其环境，执行对象检测、传感器数据融合和语言理解任务。为了实现强大的人工智能，我们需要考虑人类提供的显式教学和通过观察人类行为获得的隐式教学，同时设计多模态输入和输出能力的系统以支持隐式和显式交互模型。我们提出了几个假设和设计指南，并通过相关工作的一个用例来实现这个目标。

Sep, 2023

探索词语的意义以及儿童语言习得对语言理解模型的影响，重点关注在儿童语言学习环境中具体和抽象概念的知觉和行动能力，以及情感和认知与语言学习过程的关系，为类似于儿童环境下学习语言的语言学习代理提出一些要求。

Jul, 2023

通过机器学习和可穿戴技术等工程科学的显著进展，研究如何在复杂的学习环境下，通过分析婴儿的语言发展过程、比较婴儿与机器的学习成果以及通过多种测试手段对机器学习进行评估等一系列条件和措施来揭示婴儿语言习得的科学原理。

Jul, 2016

本研究为了衡量 Theory of Mind（意念）在语言学习中的影响，在现有 ToM 的版本上，建立了能够融合 ToM 的语言学习代理，并通过实验，证实高度融合 ToM listener 组件的训练，可以在图像指称游戏环境中获得更好的性能，这表明在计算语言习得中进一步结合 ToM 以及儿童语言习得研究的潜在效用。

Mar, 2023