通过利用多模态大型语言模型，我们构建了一个层次化的具有高级任务规划器和低级探索控制器的嵌入指令跟随框架，该方法可以在未知环境中通过在已知可见线索的基础上生成可行的计划来完成抽象指令，实验结果表明，在大型房屋场景中，我们的方法在 204 个复杂的人类指令（如做早餐和整理房间）中实现了 45.09% 的成功率。

Jun, 2024

ThinkBot 通过推理人类指令中的思维链来补全缺失的行动描述，以实现代理人成功完成人类目标的一种嵌入式指令遵循方法。在部分观察到的场景语义地图的基础上，通过对象本地化器来推断代理人实现复杂人类目标所需的相互作用对象的位置。在模拟环境中进行的大量实验证明，ThinkBot 在成功率和执行效率方面比最先进的嵌入式指令遵循方法有明显优势。

Dec, 2023

通过交互式三维环境中的体验式概念学习者，机器人可以通过学习自然语言指令和人类示范，理解视觉概念、建立语义地图并规划行动，实现长期计划，且无需通过模拟数据获得地基准真的语义深度监督。

Apr, 2023

Socratic questioning is used as a teaching strategy in the code debugging domain, and TreeInstruct, an Instructor agent guided by a state space-based planning algorithm, effectively assists students in identifying and resolving errors through multi-turn interactions, demonstrating state-of-the-art performance in both single and multi-bug datasets.

Jun, 2024

本研究提出了 Socratic Questioning 算法，该算法模拟了人类在解决复杂问题时分治的思维过程，并应用于视觉问答任务，取得了在三个公共基准数据集上都显著超过对照组的性能提升。

May, 2023

介绍了一种新的信息提取工作流程，流程中分析员直接口述感兴趣的实体 / 关系，然后使用文本蕴涵模型进行零 - shot 信息提取，系统使用用户界面实现，并在四个信息提取任务上进行实验，只需每种类型 5-15 分钟的用户工作即可实现零 - shot 学习，并取得了很好的性能表现。

Mar, 2022

本研究针对 “Embodied instruction following” 的挑战性问题，利用 ALFRED 基准测试，通过引入多个视角和培训模型预测空间关系的方式来解决目标定位和语言指令接地等关键难点，同时通过引入预训练的物体检测模块来提高语言接地，实验证明我们的方法可以超越基线模型性能。

Jan, 2021

本文提出了 Socratic Models（SM）框架，该框架可用于将多个大型预训练模型组合为一体，以实现对多模式数据的交换和新的多模式应用成果。

Apr, 2022

在此研究中，提出了 OPEx 框架，它通过展示 Observer、Planner 和 Executor 的核心组成部分，深入分析了每个组件对 Embodied Instruction Following 任务性能的影响，并通过在 TextWorld 上部署多智能体对话策略来进一步提高性能。实验结果表明，引入大型语言模型和多智能体框架可以显著改善 Embodied Instruction Following 的结果。

Mar, 2024

本文提出了一种称为 “Egocentric Planning” 的创新方法，将符号规划和面向对象的 POMDP 相结合，以解决在复杂环境中的任务。在 ALFRED 中进行的实验表明，该方法可以在完成家庭任务方面取得显著的成功率。该方法需要可靠的感知和代理动作的先决条件和效果的符号化描述。

Jun, 2023