我们展示了使用 LLMs 解决机器人动作规划问题的实验结果。与其它方法不同，我们的方法通过自然语言推理获取任务和场景对象的文本描述，并输出坐标级控制命令，从而减少中间表示代码作为策略的必要性。我们的方法在多模态提示仿真基准上进行评估，证明了自然语言推理改善成功率的潜力，并展示了利用自然语言描述将机器人技能从已知任务转移到以前未见任务的可能性。

Mar, 2024

本文提出了一种名为 JL2P 的神经架构，采用课程学习方法来解决如何将语言概念映射到动作动画的核心建模挑战，并在公开语料库上进行了测试，表明我们的方法能够生成更准确的动画。

Jul, 2019

该研究论文提出了一种基于语言增强扩散模型的规划方法，该方法可以很好地捕捉语言、动作和状态之间的复杂关系，并在机器人领域实现了较高的成功率。

Oct, 2022

本文提出了一种名为条件对抗潜在模型 (CALM) 的方法，用于生成具有多样性和可直接引导性的用户控制交互虚拟角色的行为。通过模仿学习，CALM 学习了一种代表运动的表示，捕捉了人类运动的复杂性和多样性，并能够直接控制角色动作。该方法同时学习了控制策略和运动编码器，重构给定运动的关键特征，而非简单地复制它。结果表明，CALM 学习了一种语义运动表征，能够对生成的运动进行控制，并可以通过直观的界面控制角色，类似于电子游戏中的界面。

May, 2023

本篇论文介绍了一种新的多模态、领域无关的方法，结合自然语言编程和演示编程，允许用户在高层次上自然描述任务和相关条件，并通过对话和演示递归地解决任何模糊不清的问题。PUMICE 是一个可供最终用户编程的代理系统，实现了这种方法。10 位用户的实验显示出系统的可用性。

Aug, 2019

研究人员在机器学习和自然语言理解方面的不懈探索中探讨了基于对话的语言学习，发现预测前瞻是一种有前途的学习策略，并表明它可以在没有奖励监督的情况下正确地回答问题。

Apr, 2016

本文提出了一种基于多任务学习框架的 Planning Enhanced Dialog Policy (PEDP) 方法，使用模型规划来模拟单动作对话，从而增强多动作预测，实现了相对于现有状态下最先进方法的 3% 提高，达到了 90.6% 的可靠任务成功率。

Apr, 2022

AdaptNet 是一种用于修改现有策略的潜在空间，通过在现有任务中快速学习和比较学习从头开始的新行为的方法，通过构建两层层次结构来有效地调整行为，并进一步修改策略网络层以实现更大的改变。该技术在适应基于物理的控制器到各种新的运动风格、新的任务目标、角色形态变化以及环境的广泛变化方面显示出显著的学习效率增加，通过与从头开始训练或使用其他修改现有策略的方法相比，大大减少了训练时间。

Sep, 2023

该研究旨在创建一个交互式、自然语言接口，通过学习用户在模拟机器人环境中完成任务。该接口引入了一种神经语义解析系统，通过分解学习新的高层抽象：用户通过将描述新行为的高层话语分解为它可以理解的低级步骤来与系统互动。作者的方法弥合了现有方法之间的差距，并证明了现代神经系统的灵活性以及基于语法的方法具有的一次可靠泛化能力。研究还讨论了实现交互式范式的潜力的障碍。

Oct, 2020

本研究旨在将数据驱动的行为规范与能够在物理模拟中执行类似行为的系统相结合，以实现对扰动和环境变化的逼真响应。通过将运动模仿目标与任务目标相结合，我们可以训练出能够在交互环境中智能反应的角色，例如向所需方向行走或向用户指定目标扔球。同时，本研究探讨了多种集成多个运动片段的方法，以开发出能够执行丰富多样的技能的多才多艺的代理。

Apr, 2018