利用预训练技能约束自然语言模型以便进行真实世界的物理执行，从而实现语言驱动机器人。

Apr, 2022

通过探究内在表征的多种不同地基于生物或人工系统方法（指示性、感觉运动、关系、交流和认识性地基础），梳理分化它们之间的差异，并阐述说明认为指示性地基础是矢量基础问题的关键所在。基于哲学和认知科学中的表征内容理论，本文提出了某些大语言模型（LLMs，尤其是使用人类反馈从 RLHF 进行调整的）具有克服矢量基础问题所必需的特征，并且提出，多模态和体现都不是人工系统指示性基础的必要或充分条件。

Apr, 2023

本文介绍了一种基于语言驱动的视觉表示学习方法，即 Voltron，并通过全面的实验验证表明其在五种不同的机器人学习问题上的表现优于以往技术，特别是在需要更高级特征的问题上。

Feb, 2023

本文探讨了语言输入与机器人导航系统的整合，借助符号互操作假设来连接符号认知和体验性认知的鸿沟。我们研究了将语言和语义融入神经网络和同时定位与映射方法的先前工作，突出展示了这些整合如何推进了该领域的发展。通过将抽象符号处理与感知动作基础相对比，我们提出了一个统一的框架，其中语言既作为一个抽象的交际系统，又作为感知经验的基础性表示。我们对分布语义认知模型及其应用于自主代理的审查强调了语言整合系统的转变潜力。

Apr, 2024

本论文提出了一种利用大型语言模型进行机器人交互的方法，用于解决理解语义知识和实现机器人任务之间的矛盾问题，其中引入了基于概率过滤的策略来采用语言模型和基于物理环境的模型两者的优势，通过指导解码策略可以实现复杂的机器人长视程任务。

Mar, 2023

通过在强化学习代理中嵌入和利用语言模型和视觉语言模型的能力，我们设计了一个框架，将语言作为核心推理工具，能够处理一系列强化学习挑战，如有效的探索、重用经验数据、调度技能以及从观察中学习，从而改进了在模拟的机器人操作环境中的性能，并展示了如何利用学到的技能解决新任务或模仿人类专家视频。

Jul, 2023

通过深度学习方法研究自然语言处理，通过训练紧密连接的编码器 / 解码器，在传统的指示语言环境和对比学习环境中开发了一个专用于视觉数据表示的私有语言，并且通过神经机器翻译和随机森林分类的分类层将符号表示转化为类别标签。通过两个实验，旨在进行物体识别和动作识别，研究了从真实图像中生成的草图以及从 3D 运动捕获系统生成的 2D 轨迹，通过梯度加权类激活映射（Grad-CAM）方法和 t-SNE 方法解释了学习到的符号和嵌入。

Sep, 2023

本文介绍了一种自主学习的方法，通过无标注的高维真实值机器人轨迹，自动学习抽象状态和动作的可推广的基于逻辑的关系表示，形成了自动发明的类似 PDDL 的领域模型。通过确定性设置的实证结果表明，仅凭少量机器人轨迹就可以学习到强大的抽象表示，所学的关系表示包括但超越了高级动作的经典直观概念，并且学习的模型使得规划算法能够扩展到以前超出手工构思抽象的任务范围。

Feb, 2024

该研究全面概述了大型语言模型（LLMs）和多模态 LLMs 在各种机器人任务中的整合，并提出了一种利用多模态 GPT-4V 结合自然语言指令和机器人视觉感知增强具身任务规划的框架。基于多样化的数据集，我们的结果表明 GPT-4V 有效地提升了机器人在具身任务中的表现。对 LLMs 和多模态 LLMs 在各种机器人任务中的广泛调查和评估丰富了对以 LLMs 为中心的具身智能的理解，并提供了展望未来的关于人机环境交互的见解。

Jan, 2024

研究论文提出了使用神经网络来获得离散表示的机器语言的想法，并指出相比连续特征表示，离散语言表示在解释性、泛化能力和鲁棒性方面具有多个优势。

Jan, 2022