计划中基于文本的动作模型获取
通过预测常识事件关系以及文本中的矛盾和相似之处,NaRuto 以无监督的方式从叙事文本中提取结构化事件,并生成基于计划语言风格的动作模型,实验结果显示在经典叙事规划领域中,NaRuto 能够生成比现有的全自动方法质量更好的动作模型,甚至与半自动方法相媲美。
Jul, 2023
本文提出了一种基于 MAX-SAT 框架的方法,用于自动学习规划系统的领域模型,通过输入一组含有无序动作和噪声的计划迹线来输出最佳的动作模型,并通过系统实证评估证明了该方法的有效性
Aug, 2019
本文提出了一种整合环境对象和对象关系作为额外输入的方法,从而产生与场景中的对象相映射的行动计划,并设计了一种新的评分函数,该方法在 VirtualHome 模拟器和 ActivityPrograms 知识库中取得了可靠的结果,其行动计划的正确性和可执行性分别优于之前的研究约 5.3%和 8.9%。
Oct, 2022
本文运用基于深度强化学习的 Q-networks 模型,以自然语言文本为基础,从中无限制提取行动序列,通过在线实验与现有技术进行比较,证明了本方法的有效性。
Mar, 2018
该论文提出了一个学习状态和动作抽象的框架,利用带有语言注释的示范数据来自动发现符号化和抽象化的动作空间,并在此基础上引出一个潜在的状态抽象。框架包括三个阶段:恢复对象级和动作概念,学习状态抽象、抽象动作的可行性和转移模型,以及对抽象动作应用低级策略。在推断过程中,框架首先根据潜在的转移和可行性函数制定抽象动作计划,然后利用低级策略优化高级计划。该框架可以泛化到涉及新颖对象实例和环境、未见过的概念组合以及需要较长规划范围的任务场景中。
May, 2024
提出一种新的方法 Text2Quest,将过程文本解释为交互式游戏的说明,以从材料科学论文中提取动作图形。该方法可以补充现有方法,并实现比静态文本更丰富的学习形式。
Nov, 2018
我们展示了使用 LLMs 解决机器人动作规划问题的实验结果。与其它方法不同,我们的方法通过自然语言推理获取任务和场景对象的文本描述,并输出坐标级控制命令,从而减少中间表示代码作为策略的必要性。我们的方法在多模态提示仿真基准上进行评估,证明了自然语言推理改善成功率的潜力,并展示了利用自然语言描述将机器人技能从已知任务转移到以前未见任务的可能性。
Mar, 2024
本文研究在一个开放式世界的文本冒险游戏中生成叙事的设定,使用游戏状态的图形表示来训练模型,可以消耗和输出基于图形的表示和自然语言描述和动作。通过结合众包和模拟游戏玩法构建一组大量的任务和复杂的动作数据集来构建这样的模型,发现通过在图形上下文和目标上训练可以改善动作叙述模型的一致性,即使在测试时没有图形。这在自动指标和人类评估中都得到了证明。我们计划公开代码、新一组任务和最佳表现模型。
Jan, 2023
使用自然语言隐式指令作为复杂动作的表达和组合,而不是直接选择微操作,本文基于 76,000 个自然语言指令和操作的数据集在实时策略游戏环境中训练模型,结果表明使用自然语言作为潜变量的模型在动作表达中的有效性显著优于直接模仿人类动作的模型,并且语言的组合结构对其有效性具有关键作用。同时提供了代码、模型和数据。
Jun, 2019