我们提出了 “具身人工智能” 作为追求 “人工通用智能” 的下一个基本步骤，并对其与当前人工智能进展，特别是大型语言模型进行对比。我们横跨哲学、心理学、神经科学和机器人技术等多个领域探讨了具身概念的演变，以突显具身人工智能如何与静态学习的经典范式有所区别。通过拓宽具身人工智能的范围，我们提出了一个基于认知架构的理论框架，强调感知、行动、记忆和学习作为具身代理的重要组成部分。该框架与弗里斯顿的主动推理原则相一致，为具身人工智能的发展提供了一个全面的方法。尽管人工智能领域取得了进展，但仍存在诸多挑战，如制定新的人工智能学习理论和创新先进硬件等。我们的讨论为未来的具身人工智能研究提供了基础性的指导方针。强调创造具身人工智能代理能够与人类和其他智能体在真实环境中实现无缝通信、协作和共存的重要性，我们旨在引导人工智能社群应对多方面挑战，并抓住在追求人工通用智能过程中出现的机遇。

Feb, 2024

本文对体感式人工智能领域进行了综合系统的调查和研究，包括对九个当前体感式人工智能模拟器的评估，以及对于该领域的三项研究任务，即视觉探索、视觉导航和身体问题回答的探索，并旨在为该领域模拟器和未来方向的选择提供建议。

Mar, 2021

利用大型基础模型提高我们对开放环境中感知信息的理解，在 AI 研究中强调发展集成大型基础模型的代理人 AI，这一新兴领域涉及机器人技术、游戏和医疗等多种具身和基于代理的多模态交互，并讨论了代理人 AI 在各个领域和任务中展现出的能力，挑战我们对学习和认知的理解，通过跨学科视角探讨了代理人 AI 的潜力，并强调将其纳入科学讨论中，为未来的研究方向提供基础并促进更广泛的社会参与。

Feb, 2024

ALFWorld 介绍了一个新的模拟器，使得具有身体能力的代理人能够在 TextWorld 中学习抽象的文本策略，然后在富有视觉感的环境中执行 ALFRED 基准测试的目标，以促进代理人的更好泛化。

Oct, 2020

提出了一种交互式代理基础模型，采用新颖的多任务代理训练范式，实现了跨领域、数据集和任务训练 AI 代理的能力，展示了其在机器人技术、游戏 AI 和医疗保健领域的性能，支持多模态和多任务学习。

Feb, 2024

本文讨论了构建具有社交交互能力的具体化自主智能体是人工智能面临的主要挑战之一，并指出了目前在具体化语言使用方面的研究方向存在的局限性。作者认为，实现人类水平的人工智能需要更广泛的关键社交技能。最后，通过实验研究了一种近期最先进的深度强化学习方法的局限性。

Apr, 2021

本文提出了一种基于行为感知的具有身体的学习框架，该框架通过结合强化学习和反向动力学预测目标来将行动信息纳入表示学习中，主动探索复杂的 3D 环境，从而学习可推广的任务不可知表示，并收集下游训练数据，以目标检测和语义分割任务为例，证明了该方法在视觉模型基准测试中的优势表现，并表明通过在更贴近环境和任务的实时数据上进行训练，我们的方法比在 ImageNet 等固定数据集上预训练的模型更具有鲁棒性。

Jun, 2023

多模态人工智能系统中，基于 Agent 的多模态智能研究，通过在真实和虚拟环境中嵌入具有感知能力的智能体，能够处理和解释视觉和语境数据，以提高智能系统的上下文感知和交互能力。

Jan, 2024

提出 ALAN, 一种能够在真实环境下进行自主探索的机器人代理，通过测量环境变化，同时最大化不确定性来获得代理探索信号。在两个真实世界的 play kitchen 中评估我们的方法，使机器人有效地探索并发现操作技能，并完成目标图像指定的任务。

Feb, 2023

研究提出了一种使用自然语言引导体现任务完成的模型，使用模块在更广阔的视野范围内学习选择下一步是否需要导航或操作，改进了现有基准数据集 ALFRED 上的表现。但是，最优模型在未见过的测试集分裂上表现不佳，突出了在机器学习任务中性能波动的需要修改基准设计以更好地考虑模型性能差异的需求。

May, 2022