May, 2022

MRKL 系统：模块化的神经符号结构，将大型语言模型、外部知识源和离散推理相结合

PDF
TL;DR讨论了巨型语言模型（LM）的局限性以及如何通过采用系统方法避免这些局限性，提出了一种灵活的、多神经模型的神经符号化架构，并加入了离散知识和推理模块，命名为 Modular Reasoning, Knowledge and Language（MRKL）系统，描述了 AI21 实验室的 MRKL 系统实现与技术上的挑战。
发现论文，激发创造
  • 大型知识模型：视角与挑战

    人类对世界的理解与我们的感知和认知密切相关，其中人类语言作为世界知识的重要承载者之一。本文通过 “知识” 这个视角来探索大型模型，并讨论符号知识如何增强大型语言模型以及大型语言模型如何扩展传统符号知识基础。考虑到人类知识的复杂性，我们倡导创建专门管理多样化知识结构的大型知识模型，并提出了五个 “A” 原则来区分 LKM 的概念。

    Dec, 2023

  • 超越传统神经网络：通过计算逻辑技术实现推理与学习能力的增加

    提出了改善知识注入过程、将机器学习和逻辑融入多智能体系统的解决方案。

    Aug, 2023

  • DeepThought：自主自律系统的架构

    通过将大型语言模型与深度学习系统整合，提出能够展示类似于代理、自我激励甚至一些元认知特征的认知语言代理体系结构。

    Nov, 2023

  • 大型语言模型是神经符号推理器

    该论文研究了大型语言模型作为符号推理器的潜在应用，提出了一个针对符号挑战和实现游戏目标的 LLM 代理，并通过实验结果证明了其能显著增强 LLMs 作为符号推理自动化代理的能力，对涉及符号任务的基于文本的游戏取得了 88% 的平均性能。

    Jan, 2024

  • 知识增强大型语言模型的原则框架

    这篇论文介绍了一个严格设计的框架，用于创建能够有效锚定知识并采用闭环推理过程的大型语言模型，以提升其进行深入分析的能力，同时解剖了该框架的组成部分对模型性能的贡献，从而为改进推理能力提供了理论保证。

    Nov, 2023

  • 重新思考语言模型作为符号知识图谱

    基于符号的知识图谱、语言模型和评估指标对知识图谱的拓扑属性和语义属性进行了详尽的评估，发现语言模型在提取符号知识方面能力受到限制。

    Aug, 2023

  • 论大型语言模型

    本文旨在提倡对大型语言模型及其相关系统的实际工作进行重新审视，追求更高的科学精度以引领关于人工智能的哲学探索和公众话语。

    Dec, 2022

  • 超越 LLMs：复杂推理领域的发展

    通过神经符号化的方法，本研究使用大型语言模型进行知识获取和用户交互，搭建了 Elemental Cognition 人工智能平台，该平台在处理约束满足和优化问题方面优于传统的大型语言模型，拥有更高的有效性和性能。

    Feb, 2024

  • 外部推理：朝着多大语言模型互换人类反馈的辅助方向

    通过对 LLMs 的选择性整合外部知识，介绍了一种基于多个 LLM 之间交互协助的外部推理新方法 (ChatPDF)，在人类反馈的响应下，根据查询的复杂性调整支持水平，经过全面评估后取得了最先进的性能，并且相比 LLMs 直接处理全文，这种方法更加高效。

    Jul, 2023

  • 大型语言模型应通过行为模拟成为复杂人类系统的专家顾问

    在本文中，我们探讨了大型语言模型（LLMs）在复杂人类系统中的推理能力，并提出了一种新的推理框架 ——“Mosaic Expert Observation Wall”（MEOW），利用生成型代理模拟技术。通过模拟数据训练一个专家模型，该模型在每个独立的模拟时间中专注于某个特定任务的 “经验”，通过模拟积累的 “经验” 使其成为复杂人类系统中某个任务的专家。我们在模拟真实世界安全场景的通信游戏中进行了实验，结果表明我们提出的方法可以与现有方法协同工作，增强大型语言模型在复杂人类系统中的推理能力。

    Mar, 2024