通过庞大的语言模型，我们探讨了其相对成功不是符号与亚符号之争的反映，而是利用大规模的逆向语言工程的成功自下而上策略的反映。然而，由于其亚符号本质，这些系统对语言的所有了解总是淹没在无意义的数百万个权重之中，这使得这些系统变得无法解释。此外，由于其随机性，大语言模型在需要进行内涵、时间或情态推理的不同语言环境中往往无法进行正确的推理。为了解决这些缺点，我们建议在具有符号设置的情况下采用与大语言模型相同的成功自下而上策略，从而实现可解释、语言无关和本体论基础的语言模型。

Jun, 2024

对于数据驱动的大型语言模型（LLM）的相对成功，我们认为有一些误解，因为（i）LLM 不能依赖于事实信息，因为对于 LLM 来说，所有输入的文本（事实性或非事实性）在权重上都是一样的；（ii）由于 LLM 的子符号本质，这些模型对语言的所谓 ' 知识 ' 总是淹没在亿万微观特征（权重）中的，这些特征本身都没有意义；以及（iii）在几种语言环境中，LLM 经常无法进行正确推断（例如，名词复合物、共述、量词作用域的歧视、意向性语境）。我们认为数据驱动的大型语言模型（LLM）的相对成功不是象征性与子符号性辩论的反映，而是在规模上应用自下而上的逆向工程语言的成功策略的反映，因此我们在本文中建议在符号设置中应用有效的自下而上策略，从而实现符号化的、可解释的和本体论基础的语言模型。

Sep, 2023

本文讨论了大规模语言模型的局限性和其基于深度神经网络的内在架构所造成的影响，提出了使用符号表示和基于底层反向工程重构语言的方法来弥补这些局限性。

May, 2023

该论文研究了大型语言模型作为符号推理器的潜在应用，提出了一个针对符号挑战和实现游戏目标的 LLM 代理，并通过实验结果证明了其能显著增强 LLMs 作为符号推理自动化代理的能力，对涉及符号任务的基于文本的游戏取得了 88% 的平均性能。

Jan, 2024

Symbol-LLM 系列模型通过收集各种符号任务并注入符号知识，解决了大型语言模型面临的符号间关系和符号中心与自然语言中心能力平衡的挑战，实验结果表明 Symbol-LLM 系列模型在符号和自然语言任务上具有平衡和优越的性能。

Nov, 2023

大型语言模型与符号程序的结合可以在构建人类中心预测模型时解决表达力和解释性之间的平衡问题。

Jun, 2024

本文研究了大型预训练语言模型在符号操作任务上的能力，发现其对于简单的符号操作任务如复制、反转、加法等存在局限，并提出了基于位置标记，细粒度计算步骤以及可调用程序的方法来解决该问题。结果显示，这些方法均无法完全解决最简单的加法归纳问题。最后，介绍了一种带有辅导的 LMs，可以在 OOD 和重复符号的情况下实现 100％的准确性。

Aug, 2022

基于符号的知识图谱、语言模型和评估指标对知识图谱的拓扑属性和语义属性进行了详尽的评估，发现语言模型在提取符号知识方面能力受到限制。

Aug, 2023

研究证实，大型语言模型在处理基于符号的任务时面临符号复杂度上升的挑战，强调了需要专门的训练、内存和架构调整以提高它们在符号推理任务中的熟练度。

May, 2024

该论文通过提出一种将大型语言模型的推理逻辑解释为一组符号概念的方法，探讨了大型语言模型是否编码了稀疏的符号概念，并将 LLMs 的推理分数分解为少量的符号概念，验证了这些符号概念的可迁移性和可对 LLMs 的预测错误进行解释的重要性。

Apr, 2023