可扩展的模块系统
讨论了巨型语言模型（LM）的局限性以及如何通过采用系统方法避免这些局限性，提出了一种灵活的、多神经模型的神经符号化架构，并加入了离散知识和推理模块，命名为 Modular Reasoning, Knowledge and Language（MRKL）系统，描述了 AI21 实验室的 MRKL 系统实现与技术上的挑战。
May, 2022
本文介绍了抽象模块和抽象模块化系统等概念，以研究将不同形式主义集成到模块化知识表示系统中所涉及的原则，并展示了如何将它们应用于多种形式主义。 Transition System 是这些原则的自然和方便表示，可以用于 SAT 社区开发的求解器的流程表示。
Dec, 2013
在这篇论文中，我们提出了一种名为 SYRELM 的架构，它通过采用符号求解器来将自然语言算术问题转化为形式化语言描述，然后通过一个小型冻结的 LM 生成包含自然语言描述的形式化表达式，并通过策略梯度强化学习训练适应的 LM，从而实现合理的算术推理。该方法在准确性上取得了巨大的改进，并具有易于诊断、解释和大多数研究人员可以使用的特点。
Dec, 2023
这篇论文介绍了 ModelingToolkit (MTK) 这一符号方程为基础的建模工具，该工具可以通过组合变换来生成稳定、高效和并行的模型实现。MTK 通过对用户的数值代码进行处理来提高性能和稳定性，并演示了如何将机器学习方法应用于减少模型复杂性并加速近似建模。
Mar, 2021
本文介绍了一种新的模块化行动语言 ALM，重点介绍了其使用方法，解决了现有行动语言处理大型系统的限制，支持知识结构化并提供了包括模块层次等多种有用功能以便于逐步开发，测试和阅读知识库。
May, 2015
Logic-LM 是一种将大型语言模型与符号推理相结合的框架，通过首先使用大型语言模型将自然语言问题转化为符号形式，然后进行确定性符号求解，以及自我精炼阶段来修正符号形式，在 ProofWriter、PrOntoQA、FOLIO 和 LogicalDeduction 等四个逻辑推理数据集上的结果表明，与仅使用大型语言模型相比，我们的方法可以显著提高逻辑推理的性能。
May, 2023
该论文研究了大型语言模型作为符号推理器的潜在应用，提出了一个针对符号挑战和实现游戏目标的 LLM 代理，并通过实验结果证明了其能显著增强 LLMs 作为符号推理自动化代理的能力，对涉及符号任务的基于文本的游戏取得了 88% 的平均性能。
Jan, 2024