该论文提出了神经逻辑机（NLM）这种结合神经网络和逻辑编程的神经符号架构用于归纳学习和逻辑推理，在小规模排序等任务上进行训练后，可以推广到大规模任务并在如家庭树和排序等任务中取得了优异表现。

Apr, 2019

本文研究了大型预训练语言模型在符号操作任务上的能力，发现其对于简单的符号操作任务如复制、反转、加法等存在局限，并提出了基于位置标记，细粒度计算步骤以及可调用程序的方法来解决该问题。结果显示，这些方法均无法完全解决最简单的加法归纳问题。最后，介绍了一种带有辅导的 LMs，可以在 OOD 和重复符号的情况下实现 100％的准确性。

Aug, 2022

该研究提出了一种神经知识语言模型 (NKLM)，将知识图提供的符号化知识与 RNN 语言模型相结合，通过预测所生成的单词是否具有潜在事实，从预测事实的描述中复制生成这些与知识相关的单词。实验结果表明，NKLM 显著提高了性能的同时，生成了更少的未知词。

Aug, 2016

本研究通过定义词汇表上的一组概率分布，动态地计算这些分布上的混合权重，演示如何将基于计数的 n-gram 模型与神经 LM 结合在单个模型框架中，从而创建新颖的混合模型，并证明这些方法的优势。

Jun, 2016

介绍了一种神经马尔可夫逻辑网络 (NMLNs) 的统计关系学习系统，其借鉴了马尔可夫逻辑的思想，通过神经网络隐式表示逻辑规则作为关系结构上的潜在势函数，克服了基于神经符号方法的嵌入缺失等问题，在知识库补全、三元组分类和分子 (图) 数据生成方面有较大的应用潜力。

May, 2019

该论文提出了一种神经语言模型，该模型在符号可解释事实信息和亚符号神经知识之间包括显式接口，可以通过操作其符号表示更新并覆盖已有的知识，进而显著提升知识密集型问题的问答性能。

Jul, 2020

本文主要通过对比分析神经概率语言模型和 Transformer 模型的特点，提出使用 NPLM 的本地连接层替换 Transformer 的第一自注意层，从而在三个单词级语言建模数据集上获得小而一致的困惑度降低。

Apr, 2021

本文介绍了如何在语言模型中引入编译的神经网络（CoNNs），以实现语言模型的规则全面理解能力。该方法称为 “神经理解”，可提高语言模型在符合任务中的性能，在需要超越训练数据模式识别的领域中特别有用。在符号操作中，我们的方法能够提高语言模型的绝对准确性，增强其规则推理、符号推理和算术推理能力。

Apr, 2023

本文研究了神经网络语言模型的内部偏差，并证明了嵌入空间中的概率上限与其凸壳边界上的单词相关。

May, 2020

研究证实，大型语言模型在处理基于符号的任务时面临符号复杂度上升的挑战，强调了需要专门的训练、内存和架构调整以提高它们在符号推理任务中的熟练度。

May, 2024