Jan, 2024
简单层次规划与扩散
Simple Hierarchical Planning with Diffusion
Chang Chen, Fei Deng, Kenji Kawaguchi, Caglar Gulcehre, Sungjin Ahn
TL;DR鉴于传统的扩散生成方法在建模离线数据集中的轨迹方面已经证明有效，然而，由于计算挑战和泛化能力的问题，特别是捕捉长期任务的时间抽象方面，我们介绍了一种名为 “层次性扩散器” 的简单、快速且出人意料地有效的规划方法，它结合了层次化和基于扩散的规划的优点。我们的模型在更高的层次上采用 “跳跃” 规划策略，允许其拥有更大的感受域，但计算成本较低，这对于基于扩散的规划方法来说是一个关键因素，我们已经通过实验证实了这一点。此外，这些 “跳跃” 的子目标指导了我们的低层规划器，促进了微调阶段并进一步提高了我们方法的有效性。我们对标准离线强化学习基准进行了实证评估，在培训和规划速度方面，与非层次性扩散器以及其他分层规划方法相比，我们的方法表现出卓越的性能和效率。此外，我们还探讨了我们模型的泛化能力，特别是我们的方法在复合性的分布任务中如何提高泛化能力。