- PROC2PDDL: 从文本生成开放领域的规划表示
使用文本环境进行规划仍然是人工智能系统面临的主要挑战之一。最近的研究方法使用语言模型来预测规划领域定义(例如 PDDL),但仅在封闭领域的模拟环境中进行评估。为了解决这个问题,我们提出了 Proc2PDDL,这是第一个包含开放领域流程文本和 - 使用通用移动操纵器在现实世界中打开橱柜和抽屉
构建了一个端到端系统,使得一种移动机械手(Stretch RE2)能够在多样化的前所未见的真实环境中打开橱柜和抽屉,并通过四天的测试,在未见过的环境中成功率达到 61%,并分析了感知误差是主要挑战。
- 评估和开发面向 LLMs 的规划感知技术
基于最近的研究,我们通过实验表明,大语言模型(LLMs) 缺乏规划所需的必要技能。基于这些观察,我们提倡将 LLMs 与经典规划方法相结合的混合方法的潜力。然后,我们引入了一种新颖的混合方法 SimPlan,并在一个新的具有挑战性的环境中评 - SMX: 专家迭代的顺序蒙特卡罗规划
SMX 是一个基于模型的规划算法,利用可扩展的序贯蒙特卡洛方法创建了一个有效的自学习机制,通过采样的搜索方法使其适用于离散和连续动作空间的环境,并且具有高度的并行化和计算效率优化的能力。与 AlphaZero 相比,SMX 在性能上有显著的 - 协作和竞争同时进行的零射击互动游戏的掌握
利用自我对弈和规划相结合的方法,通过模拟自我对弈学习有限理性智能体,提出了 Albatross 算法,在同时进行的游戏中实现合作和竞争,达到了较好的效果。
- 旅行规划:一项针对与语言代理实际商用计划的基准测试
语言代理的规划能力在复杂环境下仍然面临挑战,但旅行规划问题提供了一个有意义又具有挑战性的测试平台。
- 在真实环境中使用混合策略进行多目标导航
我们提出了一种混合导航方法,将多对象导航(Multi-ON)任务分解为两个不同的技能:(1)使用经典 SLAM 和符号规划器处理航路点导航,而(2)使用结合监督学习和强化学习训练的深度神经网络处理探索、语义建图和目标检索,我们展示了该方法在 - 基于大型语言模型的多智能体系统:进展与挑战综述
基于大型语言模型(LLM)的多智能体系统在复杂问题解决和世界模拟中取得了重大进展,我们提供了一份综述,深入讨论了基于 LLM 的多智能体系统的基本方面和挑战。
- 记忆、空间和计划:多尺度预测表示
记忆与预测与规划密不可分。灵活的生物和人工智能代理行为取决于学习过去和预测未来在不断变化的环境中的相互作用。本章回顾了计算、行为和神经证据,表明这些过程依赖于学习经验的关系结构,即认知地图,并得出两个关键点。首先,这些记忆结构以多尺度、紧凑 - 基于 PSO-RDV 框架强化人工神经网络的预测改进
决策制定和规划长期以来在很大程度上依赖于基于人工智能的预测。
- 基于辨别性表示预训练的学习 Top-k 子任务规划树用于决策制定
从足够的数据中学习任务相关的表示,利用多个编码器提取充分的任务相关动态并使用共享预测器来区分任务特征,通过使用注意机制生成一个 top-k 子任务规划树,从而在未知任务上引导复杂决策。
- 利用自然语言指导学习自适应规划表示
Ada 使用语言模型从任务通用的背景知识中自动构建特定任务的规划表示,通过与其他使用语言模型进行顺序决策的方法相比,在两个基准任务上表现出更准确的计划和更好的任务复杂性泛化能力。
- 遮挡下的协作概率轨迹预测
在视觉遮挡下的感知和规划对于安全关键任务至关重要,本论文设计了一种端到端网络,通过相对位姿估计在有遮挡的情况下合作估计遮挡行人的当前状态,并具有安全保证的轨迹预测,实验证明在遮挡下,由本体代理进行的遮挡行人不确定性感知轨迹预测与没有遮挡的真 - 以人为中心的规划
创建基于 LLMs 的规划器(LLMPlan)与能够将文本约束转化为符号表示的符号规划器(SymPlan),通过自我反思的能力以及对自然语言中模糊约束的合并,LLM 基于规划器在 40 名用户的互动评估中表现出优异的用户满意度(70.5%) - 预测者:从像素到时间抽象的树搜索规划
Forecaster 是一种深度分层强化学习方法,通过对抽象层次的状态转换动态建模和训练世界模型,在高维状态空间(如像素)等复杂环境中规划高层次目标,并通过树搜索规划程序选择最优高层次目标,从而捕捉建立具有较长时间跨度的世界模型和在下游任务 - 像素状态值网络用于交互环境中的综合预测和规划
通过深度学习方法将预测和规划结合起来,利用条件生成对抗网络和 U-Net 架构训练模型,以预测高分辨率的图像序列并编码运动预测以及规划相关信息,从而在城市环境中与其他交通参与者可靠地进行交互。
- EMNLP问题 - 答案计划的视觉叙事
将图像序列转化为可解释的视觉前缀,结合预训练语言模型和规划,利用问题 - 答案对作为蓝图计划选择显著的视觉概念,并确定它们如何组织成故事,生成更连贯、有趣和自然的故事。
- 语言代理树搜索在语言模型中统一了推理、行为和规划
LATS 是一种将大型语言模型(LLMs)能力融合于规划、行动和推理的通用框架,具备外部反馈的环境、超越现有技术限制的思考和适应性的问题解决机制,实现了在各种领域中的推理和行动的应用性。
- 空间导航任务中基于结构的任务分解
人们如何能够在有限的认知资源下高效地进行规划?通过对一个现有模型的扩展来回答这个问题,我们通过在任务中添加结构信息以便在更复杂的任务中促进规划,对人类任务分解的模型进行了扩展。扩展模型随后被应用于一个更复杂的空间导航规划领域,我们的结果表明 - 迭代式规划中的选项发现
发现有用的时间抽象,以选项的形式展现,被广泛认为是将强化学习和规划应用于越来越复杂的领域的关键。在 AlphaZero 中,借鉴专家迭代方法的经验成功,我们提出 Option Iteration 作为选项发现的相似方法,该方法学习一组选项策