Symbol-LLM 系列模型通过收集各种符号任务并注入符号知识，解决了大型语言模型面临的符号间关系和符号中心与自然语言中心能力平衡的挑战，实验结果表明 Symbol-LLM 系列模型在符号和自然语言任务上具有平衡和优越的性能。

Nov, 2023

该论文研究了大型语言模型作为符号推理器的潜在应用，提出了一个针对符号挑战和实现游戏目标的 LLM 代理，并通过实验结果证明了其能显著增强 LLMs 作为符号推理自动化代理的能力，对涉及符号任务的基于文本的游戏取得了 88% 的平均性能。

Jan, 2024

对于数据驱动的大型语言模型（LLM）的相对成功，我们认为有一些误解，因为（i）LLM 不能依赖于事实信息，因为对于 LLM 来说，所有输入的文本（事实性或非事实性）在权重上都是一样的；（ii）由于 LLM 的子符号本质，这些模型对语言的所谓 ' 知识 ' 总是淹没在亿万微观特征（权重）中的，这些特征本身都没有意义；以及（iii）在几种语言环境中，LLM 经常无法进行正确推断（例如，名词复合物、共述、量词作用域的歧视、意向性语境）。我们认为数据驱动的大型语言模型（LLM）的相对成功不是象征性与子符号性辩论的反映，而是在规模上应用自下而上的逆向工程语言的成功策略的反映，因此我们在本文中建议在符号设置中应用有效的自下而上策略，从而实现符号化的、可解释的和本体论基础的语言模型。

Sep, 2023

可解释机器学习与大型语言模型相结合，评估解释方法并提出使用语言模型分析数据集和生成交互式解释的两个研究重点。

Jan, 2024

研究证实，大型语言模型在处理基于符号的任务时面临符号复杂度上升的挑战，强调了需要专门的训练、内存和架构调整以提高它们在符号推理任务中的熟练度。

May, 2024

通过将成功的自底向上策略应用于符号化环境中，我们提出使用具有符号性、语言不可知性和本体论基础的大型语言模型，以在规模上逆向工程语言，从而解决大型语言模型中的难题。

Aug, 2023

本论文介绍了一种新颖的方法，使用大型语言模型来读取自然语言问题并生成程序作为中间推理步骤，但将求解步骤委托给运行时，如 Python 解释器，在 13 个数学、符号和算法推理任务中展示了神经大型语言模型和符号解释器之间的协同作用。

Nov, 2022

通过庞大的语言模型，我们探讨了其相对成功不是符号与亚符号之争的反映，而是利用大规模的逆向语言工程的成功自下而上策略的反映。然而，由于其亚符号本质，这些系统对语言的所有了解总是淹没在无意义的数百万个权重之中，这使得这些系统变得无法解释。此外，由于其随机性，大语言模型在需要进行内涵、时间或情态推理的不同语言环境中往往无法进行正确的推理。为了解决这些缺点，我们建议在具有符号设置的情况下采用与大语言模型相同的成功自下而上策略，从而实现可解释、语言无关和本体论基础的语言模型。

Jun, 2024

该论文通过提出一种将大型语言模型的推理逻辑解释为一组符号概念的方法，探讨了大型语言模型是否编码了稀疏的符号概念，并将 LLMs 的推理分数分解为少量的符号概念，验证了这些符号概念的可迁移性和可对 LLMs 的预测错误进行解释的重要性。

Apr, 2023

使用大语言模型来评估编程策略的可解释性，并验证其在解决编程问题和实时策略游戏中的应用，结果表明该度量标准在评估编程策略的可解释性方面是可靠且廉价的工具。

Nov, 2023