通过语言反馈不断改进高层策略，使机器人在复杂的、需要长程规划的任务中表现得更加出色，无需额外的远程操作。

Mar, 2024

该论文介绍了一种将自然语言命令翻译成离散机器人动作的方法，并使用澄清对话共同改进语言解析和概念基础。将这个代理程序训练和评估在亚马逊的 Mechanical Turk 平台上的虚拟环境，并在真实环境中将学习到的代理迁移到物理机器人平台进行演示。

Mar, 2019

本文提出了一种基于自然语言的灵活性极高的人机协作接口，将大型语言模型 (BERT 和 CLIP) 的优势与轨迹信息相结合，通过多模态注意力变换实现对用户命令的编码，并将其与轨迹信息相结合。在包含机器人轨迹的数据集上进行模仿学习，并将轨迹生成过程视为序列预测问题，通过仿真轨迹实验和真实机器人实验验证了该系统的效果优异，并证明了自然语言接口在人机协作中的优越性。

Mar, 2022

通过 Clarify，用户仅需提供短文本描述来描述模型的连续失败模式，然后我们完全自动化地使用这些描述来改善训练过程，以重新加权训练数据或收集额外的有针对性的数据，并通过用户研究表明，非专业用户可以成功地通过 Clarify 描述模型的误解，从而在两个数据集中将最差组精确度平均提高 17.1％，此外，我们使用 Clarify 在 ImageNet 数据集中找到并纠正了 31 个新的困难子群体，将少数群体的精确度从 21.1％提高到 28.7％。

Feb, 2024

本论文提出了一种基于语言纠正的潜在行为框架（LILAC），旨在解决当前指令跟随机器人缺乏适应性和学习效率低的问题，通过在执行过程中在线纳入和适应自然语言纠正（“向右”，或 “不，向书”），从而实现对丰富的操纵领域的探索和高精度的操作，提高了任务完成率和用户体验。

Jan, 2023

本文介绍了一种结合自然语言处理和计划生成的方法，以实现机器人的多功能任务处理和人类般的任务理解能力。同时还探讨了一种能够最小化问答迭代的对话策略来解决自然语言指令中的歧义和缺失问题。

Aug, 2020

我们展示了使用 LLMs 解决机器人动作规划问题的实验结果。与其它方法不同，我们的方法通过自然语言推理获取任务和场景对象的文本描述，并输出坐标级控制命令，从而减少中间表示代码作为策略的必要性。我们的方法在多模态提示仿真基准上进行评估，证明了自然语言推理改善成功率的潜力，并展示了利用自然语言描述将机器人技能从已知任务转移到以前未见任务的可能性。

Mar, 2024

本文提出了一个新的学习框架，使得机器人可以成功地遵循自然语言路线指令，而无需任何先前环境的知识。该算法利用通过命令传达给机器人的空间和语义信息来学习关于空间扩展环境的度量和语义属性的分布，并将自然语言指令解释为关于预期行为的分布。通过对地图和状态分布进行推理，使用模仿学习的新型置信空间规划器直接求解策略，我们在可声控轮椅上评估了我们的框架。结果表明，通过学习和推理潜在的环境模型，该算法能够成功地遵循新颖的扩展环境中的自然语言路线指令。

Mar, 2015

本文旨在研究自然语言交互与认知机器人、知识表达形式、计划工具和翻译过程的结合应用，以提高其在日常生活中的任务完成效率。

May, 2022

本篇论文提出了一个通过深度学习技术处理自然语言和解决口语指令歧义的综合系统，旨在帮助机器人进行有效的人机交互，研究结果表明，通过建立对话式交互模型，机器人能够有效地理解和执行人类自然语言指令，并提高物体拾取任务的成功率。

Oct, 2017