ICLRJun, 2024

组合推理问题中层级搜索的重点是什么？

PDF
TL;DR有效应对组合推理问题，尤其是著名的 NP 难问题，对 AI 研究来说仍然是一个重大挑战。最近的工作致力于通过引入分层高级搜索策略（即子目标方法）来提高规划效果。然而，它们在与传统的低级规划器的性能对比方面存在不一致性，引发了对其应用范围的疑问。本研究深入探讨了用于组合推理的子目标规划方法，并确定了利用高级搜索优势的关键属性：难以学习的价值函数、复杂的动作空间、环境中存在死胡同，或使用来自多样专家的数据。我们提出了一种一致的评估方法，以实现方法之间的有意义比较，并对最先进的算法进行重新评估。
combinatorial reasoningnp-hard taskshierarchical high-level search strategiessubgoal methodsevaluation methodology
发现论文，激发创造
  • 具备完整性保证的高效规划的混合搜索

    提出了一种有效的方法来增加子目标搜索的完备性，在复杂规划问题中应用子目标级别规划，提高性能并保证完备性。

    Oct, 2023

  • 组合式层次规划的基础模型

    通过在空间和时间尺度上进行分层推理，我们提出使用多个专家基础模型联合解决长期目标任务的分层规划模型，通过语言、视觉和动作数据的训练，构建符号化的计划，并通过视觉 - 动作控制将计划转化为执行动作，以实现在新环境中做出有效决策。

    Sep, 2023

  • 快速而精确：利用自适应子目标搜索调整计划视界

    AdaSubS 是一种自适应搜索方法，通过不同距离下生成不同的子目标，利用核实机制过滤不可达的子目标，实现长短子目标策略的高效平衡，从而在三个复杂推理任务中显著优于分层规划算法 —— 推箱子游戏，魔方和 INT 不等式证明基准。

    Jun, 2022

  • 层次强化学习中生成受邻近约束的子目标

    本文研究了基于目标的层次强化学习（HRL）中高层次行动空间（即目标空间）的训练效率问题，提出了使用邻接约束把高层次动作空间限制为当前状态的 $k$ 步领域，证明该约束在确定性 MDPs 下保留了最优层次策略，实现方法是训练一个区分相邻和非相邻子目标的邻接网络，在实验中验证了该约束在离散和连续控制任务中显著提高了 HRL 方法的性能。

    Jun, 2020

  • 朝向学习领域独立规划启发式方法

    利用机器学习获取领域无关的启发式函数以提高自动规划在不同领域系统中的实际应用。

    Jul, 2017

  • 使用语言的交互式分层指导

    使用语言命令实现上下层结构分离的强化学习方法，在长期规划任务中能够有效提高任务样本效率并保持可解释性和人工干预能力。

    Oct, 2021

  • 分层计划推理摘要信息补充

    本文介绍了一种机制，用于从给定的计划层次结构中推导先决条件和效果总结，并提供了结构数据和算法，以在传统计划器与抽象计划中相互使用。

    Aug, 2017

  • 多层级组合推理的互动指令跟随

    使用多层次组合推理代理（MCR-Agent）将任务分解为多个子目标，分别处理导航和交互，实现了对复杂任务的有效执行，并在效率指标上相较于现有技术获得了 2.03％的绝对增益，无需使用基于规则的计划或语义空间记忆。

    Aug, 2023

  • 基于像素的深度分层规划

    通过在一个学习好的世界模型的潜在空间 planning，我们引入了一种名叫 Director 的实用方法，直接从像素学习分层行为，无需手动指定目标空间或子任务，并在具有稀疏奖励的任务中表现超越了探索方法。

    Jun, 2022

  • 自然语言子目标的层次强化学习

    我们提出了一种新颖的方法，利用人类在 3D 实体环境中解决任务时使用的无约束自然语言数据，通过软约束目标空间，对一组长期任务进行层次强化学习，从而实现在现实或开放环境中实现目标导向行为的挑战。

    Sep, 2023