Jun, 2024

语言模型的认知地图：通过动词表示世界模型的最优规划

PDF
TL;DR本文研究了语言模型的最佳规划能力，可以构建给定环境的认知地图，实验证明认知地图显著提高了网格世界路径规划任务中的规划生成能力，同时展示了与人类认知类似的两个关键特征：将规划能力泛化到外推环境和有限训练数据下的快速适应。希望本研究结果能够为基于语言模型的模拟人类认知流程提供启示，从而开发出更先进、更健壮的系统，更好地模拟人类思维。
发现论文，激发创造
  • 使用 CogEval 评估大型语言模型中的认知地图和规划

    通过 CogEval 协议系统评估了八种大型语言模型的认知地图和规划能力，发现尽管对于较简单结构的规划任务表现出明显的竞争力，但系统评估揭示了规划任务的显著失效模式，包括无效轨迹的幻觉和陷入循环。这些发现不支持大型语言模型具备即用型规划能力的观点。

    Sep, 2023

  • 基于视觉理解规划的语言模型无需视觉输入推断详细计划

    本文研究了如何将自然语言指令转化为虚拟环境中可行的多步骤行动序列，通过实证表明，结合一定的视觉信息和上下文语境，GPT-2 模型能够成功地生成金标准语句执行序列，为基于语言的虚拟代理提供了强大的视觉语义规划模块。

    Sep, 2020

  • 明确规划有助于语言模型在逻辑推理中的表现

    在本文中，我们提出了一个使用语言模型进行多步逻辑推理的新型系统，该系统将显式计划纳入其推理过程中，从而通过向前看到它们的未来效果，能够在每一步上做出更明智的推理决策。在我们的实验中，我们的完整系统明显优于其他竞争系统，在多项选择题回答任务中，我们的系统表现与 GPT-3-davinci 相当，尽管只有约 15B 的参数。我们进行了几项削减研究，以证明显式计划在系统性能中起着重要作用。

    Mar, 2023

  • 看、规划、预测：语言引导的视频预测认知规划

    通过自然语言引导视频预测，我们提出了一种新的视觉预测结构，使得计算机可以通过语言输入来分解高级任务计划，并且使用预先训练好的 transformers 使得模型具有一定的任务泛化能力，实验表明，这种结构相对于不具有任务规划或动作引导的基线模型具有显著优势，并且通过深入研究发现语言嵌入技术对于任务泛化能力的提升非常重要。

    Oct, 2022

  • 大型语言模型的规划能力 - 一项关键调查

    本文旨在研究 LLLms 在常识规划任务中的规划能力，通过在国际计划竞赛中生成一系列实例，并评估 LLMs 在自主规划和启发式两种不同模式下的表现，发现 LLMs 在自主规划方面的表现非常有限，但在启发式模式下，LLMs 生成的计划可以改善其它智能计划器的搜索过程并提供反馈以进一步验证计划质量。

    May, 2023

  • 使用神经继承网络和词嵌入形成概念认知地图

    介绍了一种使用继任表示和神经网络的模型，以及单词嵌入向量，用于构建三个不同概念的认知图，从而根据输入提供多模态上下文信息，基于输入和预先存在的知识表示的相似性度量。

    Jul, 2023

  • 在模糊环境中整合认知地图学习与主动推理的规划

    本文提出了一种将统计模型的认知地图形成与支持不确定性规划的主动推理代理进行集成的方法，并通过在三个空间导航场景中比较原始克隆图代理和主动推理驱动的克隆图代理，证明了尽管两种代理在简单场景中都有效，但主动推理代理在具有关于位置的模糊信息的挑战性场景中的规划更有效。

    Aug, 2023

  • 视觉导航的认知映射与规划

    提出一种学习从第一人称视角中建图并规划行动序列实现导航的神经网络架构，并应用于仿真和物理机器人环境中，取得了比其他基于学习或传统映射和路径规划方法更好的性能，能够扩展到语义化的目标。

    Feb, 2017

  • 对话式语言模型的推理即世界模型的规划

    本文介绍了基于 Monte Carlo 搜索算法的新型大语言模型推理框架 RAP，利用其上的世界模型进行计划生成和复杂推理。从多个任务测试中，RAP 在效率和准确率上都超过了 Chain-of-Thought 等现有方案。

    May, 2023

  • 思维可视化激发大型语言模型的空间推理

    大型语言模型中的空间推理能力相对较少探索，在本文中，我们提出了一种名为 Thought 可视化的方法，通过可视化语言模型的推理轨迹来引导后续的推理步骤，实验证明 Thought 可视化显著增强了语言模型的空间推理能力，并且在多跳空间推理任务中表现优于现有的多模态大型语言模型。

    Apr, 2024