通过引入显式的行动知识，KnowAgent 为大型语言模型（LLMs）的规划能力提供了增强，实现了更合理的轨迹合成，从而提高了语言代理的规划性能。

Mar, 2024

本文研究大型语言模型在互动环境中是否可以利用所学的世界知识来执行高层任务，并提出了一种条件方法，将语言模型生成的中级计划语义上翻译为合适的操作以提高执行性能。在 VirtualHome 环境中的实证评估结果表明，该方法在可执行性方面显著优于大型语言模型基线。

Jan, 2022

安装概率世界模型到人工智能代理中，为人类与控制这些代理打开了一个高效的交流途径；我们开发了一种名为语言引导的世界模型（LWMs），通过阅读语言描述来捕捉环境动态，提高了代理的通信效率，同时允许人类用简洁的语言反馈在多个任务中同时改变行为。该研究证明了当前最先进的 Transformer 架构在该基准测试上表现不佳，激励我们设计更强大的架构。通过模拟展示了我们提出的 LWMs 的实用性，使代理能够在执行前生成和讨论计划，增强了代理的可解释性和安全性，并使其在真实环境中的性能提高了三倍，而无需在该环境中进行任何交互式经验的收集。

Jan, 2024

人类对世界的理解与我们的感知和认知密切相关，其中人类语言作为世界知识的重要承载者之一。本文通过 “知识” 这个视角来探索大型模型，并讨论符号知识如何增强大型语言模型以及大型语言模型如何扩展传统符号知识基础。考虑到人类知识的复杂性，我们倡导创建专门管理多样化知识结构的大型知识模型，并提出了五个 “A” 原则来区分 LKM 的概念。

Dec, 2023

将预训练语言模型与外部知识源相结合，可以增强其上下文处理能力，克服传统语言模型的问题，如错觉、无依据的回答和可拓展性挑战。

Sep, 2023

一种大型语言模型如何拥有知识的问题超出了特定人工智能系统的能力，并挑战了我们对知识和智能本质的假设。我们通过授予 LLMs “工具知识” 来回答这个问题，该知识由一定的能力定义。然后我们探讨这种知识与人类智能所展现的更为普通和 “世俗” 的知识之间的关系，并以认知科学中结构化世界模型能否被视为工具知识的程度来加以研究。我们讨论了 LLMs 如何恢复世俗知识的方式，并暗示这种恢复将受世界模型和任务需求之间的隐性、资源有理化权衡的制约。

Oct, 2023

本文提出了一种通过 fine-tuning 使用世界模型使大型自然语言模型获得基于物理环境的知识和技能，以帮助解决模型在简单的推理和规划中的局限性，实验证明这种方法能够提高基本的 LM 在 18 项下游任务上的性能，尤其是 1.3B 和 6B 的小 LM。

May, 2023

本论文提出了 Parametric Knowledge Guiding（PKG）框架，使 LLMs 具有在运行时访问相关知识的能力，从而在适应长尾或特定领域任务方面提高性能，并同时考虑了透明度和数据隐私的问题。

May, 2023

使用大型语言模型来假设抽象世界模型从而提高强化学习代理的样本效率。在 Minecraft 物品制作中，DECKARD 代理通过 LLM-guided exploration 提出 AWM 并验证其有效性，从而实现了与现代方法相比一个数量级的提升。

Jan, 2023

本文提出了一种名为知识解决器（KSL）的范例，通过利用大型语言模型（LLMs）的强大概括能力，教给它们从外部知识库中搜索必要知识，并将检索过程转化为多跳决策序列，增强了 LLMs 的搜索能力，提高了推理过程的可解释性。在三个数据集上的实验证实，我们的方法相对基准模型的表现有很大的提升。

Sep, 2023