May, 2022

GoalNet: 从人类计划演示中推断出合取目标谓词，以用于机器人指令跟随

PDF
TL;DR本研究旨在使机器人能够学习如何按照自然语言指示序列化其动作以执行任务，通过人类伙伴的成功演示。为了达到这个目的，我们引入了一种新颖的神经符号模型 GoalNet，它能够从人类演示和语言任务描述中推断目标谓词的上下文和任务依赖关系，并结合学习和规划以提高在多阶段任务中的决策能力。通过在一个表示语言变化的基准数据集上进行测试，我们证明了 GoalNet 在任务完成率上比现有基于规则的方法有了显著改进（51％）。
robotnatural language instructionsneuro-symbolic modelgoal predicatesplanning
发现论文，激发创造
  • 通过结合计划识别和语言反馈来改进人类意图推理

    对话式目标识别框架（Dialogue for Goal Recognition）通过询问关于噪声传感器数据和次优人类行动的澄清问题，使机器人能够纠正其对人类进展的信念，评估了 D4GR 在厨房和堆积领域的性能，结果显示 D4GR 框架在目标准确性方面比 HTN 高出 1%，在计划准确性方面比 HTN 高出 4-2%，比始终询问的预测模型在目标识别和计划识别方面表现更好，且比基线少问了 68% 的问题，文章还在厨房领域展示了一个真实世界机器人情景，验证了 D4GR 在现实环境中改进的计划和目标识别能力。

    Oct, 2023

  • 目标推断改进人机协作的客观和感知性能

    本文评估了一种人机协作方案，该方案结合了任务分配和动作规划推理的层次，使用贝叶斯推理预测他的人类伴侣的下一个目标，并实时重新规划自己的行动，实现了预期的适应性，取得了良好的人 - 机表现优化。

    Feb, 2018

  • 具备自然语言目标的逆强化学习

    本文提出了一种新颖的对抗式逆强化学习算法，使用条件化语言政策和奖励函数，以及使用变分目标生成器提高学习策略和奖励函数的泛化性，从而使自然语言变得可用于指导智能体任务的目标， 获得了非常好的性能表现。

    Aug, 2020

  • 指令跟踪的目标表示：半监督语言接口控制

    通过使用少量语言数据，我们提出了一种联合图像和目标条件策略的方法来解决语言指示问题，该方法获得了在不同场景下进行操作任务的指令跟随表现，并具有从标记数据中外推语言指示的能力。

    Jun, 2023

  • 通过情境建模和基于模型的策略学习在教学视频中进行程序规划

    本文提出了一种新的过程规划公式，通过贝叶斯推论和基于模型的模仿学习，建模人类行为，从而在实际的指导视频中实现了它，证明了我们的方法可以实现达到指定目标的最先进性能的同时，学习到的上下文信息以潜在空间的形式表现出有趣的特征。

    Oct, 2021

  • 学习神经符号程序用于语言引导机器人操控

    通过一种模块化结构，使用符号推理构造深度物体中心推理模型，从而训练出一种可以执行机器人操作的模型，此模型具有优秀的通用性和端到端的可训练性。

    Nov, 2022

  • 神经符号逆推规划引擎（NIPE）：从语言输入建模概率社交推断

    论文研究了语言对社交推理的驱动和影响，提出了一种神经符号模型来从语言输入中推断行动目标，并通过人体实验验证了该模型比单纯使用大语言模型更能准确预测人类判断。

    Jun, 2023

  • 从离线数据和众包注释中学习语言相关机器人行为

    本文研究了使用自然语言标签并结合机器人交互数据集，来学习规划机器人视觉操作任务的问题，并发现此方法在具有一定自由度的语言规划任务中表现更优秀，成功地完成了使用自然语言描述的物品移动任务。

    Sep, 2021

  • 从行动和指令推断沟通代理的目标

    研究了协作团队之间的自然语言指令传递在多模态贝叶斯逆向规划中的应用，发现使用语言指令可以更快、更准确地推断出团队目标，强调了语言沟通对于协作任务的重要性。

    Jun, 2023

  • 深度学习任务中的目标识别：GRNet 方法

    研究使用机器学习将目标识别问题转化为分类任务，利用循环神经网络预测代理目标，并在性能上优于现有方法。

    Oct, 2022