利用预训练技能约束自然语言模型以便进行真实世界的物理执行，从而实现语言驱动机器人。

Apr, 2022

通过增强和无监督学习，训练具备最少先验知识的机器人在仿真 3D 环境中理解自然语言指令，将语言符号与周围物理环境的感知表示和相关的行动序列联系起来，实现语言含义的压缩和提取，从而揭示出关于语言基于感知概念的本质和潜力。

Jun, 2017

本文提出了一种基于视觉语言感知模型的新方法，可以在真实世界中从非结构化、离线、无需重置的数据中高效地学习通用的、以语言为条件的机器人技能，实验表明该方法配合 LLMS 可以在真实世界中完成长期、多层次的任务，并比以往方法少使用一个数量级的数据。

Oct, 2022

大型语言模型（LLMs）显示出它们在人类世界的丰富语义知识方面的强大自动推理和规划能力。然而，接地问题仍然阻碍了 LLMs 在真实环境中的应用。为了自主将 LLM 接地到环境中，我们提出了自主驱动接地（SDG）框架，用于自动和渐进地通过自主驱动技能学习将 LLM 接地。通过在著名的指令遵循任务集 - BabyAI 中进行验证，SDG 在最具挑战性的任务中达到了与成百上千次演示成本的模仿学习方法相媲美的性能，证明了学习到的技能的有效性，显示出我们框架的可行性和效率。

Sep, 2023

本研究旨在探讨语言模型是否具有生成具体执行计划的能力，并针对该问题提出了一个新的问题解决方案: G-PlanET。通过将高级目标和特定环境中物体的数据表输入，我们设计了一种迭代解码策略，并使用新的度量标准 KAS 评估模型执行计划的质量，实验结果表明，将环境信息编码为表格，迭代解码策略可以显著提高语言模型的表现。

Aug, 2022

使用自然语言处理模型（LLMs）通过少量样本来实现机器人的动态运动控制，充分展示了机器人领域中大规模预训练模型的潜力。

Sep, 2023

通过语言为鲁棒的动作选择增强状态抽象技术，利用语言为基础的视觉特征来改进强化学习中的世界模型学习，提高对于复杂任务中的视觉控制的推广性。

Nov, 2023

基于 2D 迷宫世界，通过虚拟代理学习语言的模型，将语言的生成与理解与其他计算流程分离，从而成功地解决新单词出现的问题。模型可以解释人类可理解的中间输出结果，大幅优于其他五种比较方法。

Jan, 2018

本文研究了语言基础问题，提出了一种联合学习语言和感知模型的方法，采用基于概率的范畴语法来构建丰富的、组合的含义表示，并且在物理场景下评估了该方法的性能，演示了准确的任务性能和有效的潜变量概念归纳。

Jun, 2012

利用大型语言模型对物理领域中的常识推理进行基础性指导和解决工作，通过任务结构和约束的搜索，使用人类示范和模拟干扰生成覆盖训练数据集，并通过解释性学习方法来提高模仿学习的可解释性和反应性。

Mar, 2024