通过将成功的自底向上策略应用于符号化环境中，我们提出使用具有符号性、语言不可知性和本体论基础的大型语言模型，以在规模上逆向工程语言，从而解决大型语言模型中的难题。

Aug, 2023

通过庞大的语言模型，我们探讨了其相对成功不是符号与亚符号之争的反映，而是利用大规模的逆向语言工程的成功自下而上策略的反映。然而，由于其亚符号本质，这些系统对语言的所有了解总是淹没在无意义的数百万个权重之中，这使得这些系统变得无法解释。此外，由于其随机性，大语言模型在需要进行内涵、时间或情态推理的不同语言环境中往往无法进行正确的推理。为了解决这些缺点，我们建议在具有符号设置的情况下采用与大语言模型相同的成功自下而上策略，从而实现可解释、语言无关和本体论基础的语言模型。

Jun, 2024

对于数据驱动的大型语言模型（LLM）的相对成功，我们认为有一些误解，因为（i）LLM 不能依赖于事实信息，因为对于 LLM 来说，所有输入的文本（事实性或非事实性）在权重上都是一样的；（ii）由于 LLM 的子符号本质，这些模型对语言的所谓 ' 知识 ' 总是淹没在亿万微观特征（权重）中的，这些特征本身都没有意义；以及（iii）在几种语言环境中，LLM 经常无法进行正确推断（例如，名词复合物、共述、量词作用域的歧视、意向性语境）。我们认为数据驱动的大型语言模型（LLM）的相对成功不是象征性与子符号性辩论的反映，而是在规模上应用自下而上的逆向工程语言的成功策略的反映，因此我们在本文中建议在符号设置中应用有效的自下而上策略，从而实现符号化的、可解释的和本体论基础的语言模型。

Sep, 2023

可解释机器学习与大型语言模型相结合，评估解释方法并提出使用语言模型分析数据集和生成交互式解释的两个研究重点。

Jan, 2024

Symbol-LLM 系列模型通过收集各种符号任务并注入符号知识，解决了大型语言模型面临的符号间关系和符号中心与自然语言中心能力平衡的挑战，实验结果表明 Symbol-LLM 系列模型在符号和自然语言任务上具有平衡和优越的性能。

Nov, 2023

该论文研究了大型语言模型作为符号推理器的潜在应用，提出了一个针对符号挑战和实现游戏目标的 LLM 代理，并通过实验结果证明了其能显著增强 LLMs 作为符号推理自动化代理的能力，对涉及符号任务的基于文本的游戏取得了 88% 的平均性能。

Jan, 2024

大型语言模型与符号程序的结合可以在构建人类中心预测模型时解决表达力和解释性之间的平衡问题。

Jun, 2024

本文提出了元推理（Meta-Reasoning）的概念，通过符号解构，最大限度地将某些推理任务的不同问题转化为类似的自然语言表达式，从而使得大语言模型 (LLMs) 能够通过类比学习和促进数据有效的上下文学习，从而显著地提高推理能力，GPT-3 (text-davinci-002) 在使用一个元推理演示的情况下可以达到超过 99％的准确率。

Jun, 2023

在这篇论文中，我们提出了一种名为 SYRELM 的架构，它通过采用符号求解器来将自然语言算术问题转化为形式化语言描述，然后通过一个小型冻结的 LM 生成包含自然语言描述的形式化表达式，并通过策略梯度强化学习训练适应的 LM，从而实现合理的算术推理。该方法在准确性上取得了巨大的改进，并具有易于诊断、解释和大多数研究人员可以使用的特点。

Dec, 2023

本研究探讨如何利用混合神经符号技术来增强大型语言模型在伦理自然语言推理中的逻辑有效性和一致性，通过整合外部的向后求解器，改进逐步自然语言解释的过程，验证解释的正确性，减少不完整性和冗余性，并生成支持模型推理的形式证明，从而提高在多步伦理自然语言推理任务中解释的质量。

Feb, 2024