Feb, 2024
通过合作的语言引导逆向规划实现务实指令遵循和目标协助
Pragmatic Instruction Following and Goal Assistance via Cooperative Language-Guided Inverse Planning
Tan Zhi-Xuan, Lance Ying, Vikash Mansinghka, Joshua B. Tenenbaum
TL;DR该研究介绍了合作语言引导的逆向计划搜索 (CLIPS)，这是一种贝叶斯代理架构，用于灵活、上下文敏感地遵循指令，提供目标协助。通过模型化人类为合作规划者，对动作和语言进行多模态贝叶斯推理，使用大型语言模型 (LLMs) 评估指令在假设计划下的可能性，辅助代理最小化预期目标达成成本，即使对目标存在不确定性，也能实现对模棱两可指令的实用跟踪和有效协助。在两个合作规划领域 (Doors, Keys & Gems 和 VirtualHome) 中评估了这些能力，发现 CLIPS 在准确性和帮助性方面明显优于 GPT-4V、基于 LLM 的字面指令跟踪和单模态逆向计划，并与人类评分者提供的推理和协助判断非常接近。