本研究使用多层算术符号推理的受控数据集，系统地检查了最近发布的预训练 seq2seq 模型，旨在探讨最新的神经模型如何捕捉符号推理的组合性。我们引入了一个 “组合性技能树”，定义了组合复杂性的层级水平以及系统性，生产力和可替代性等组合性维度。实验表明，模型最难以处理系统性，甚至在相对简单的组合中也表现不佳。即使通过训练模型的中间推理步骤，也无法缓解这种困难。
Feb, 2023
本文提出一种基于通用 Transformer 的深度学习模型，通过发现高效的算数程序，利用外部的网格状记忆进行多位数的加法计算，并且发掘了人类类似的计算策略，如位值对齐。
Jul, 2022
通过研究符号数学积分问题，本文发现序列模型在推广、组合性、超出分布方面的表现不佳，需要更多超出测试集的评估。
Sep, 2021
我们提出了一种用于学习算法任务的原创方法，该方法受符号人工智能中的重写系统的启发，该系统由专门的模块组成的神经结构实现，通过系统地应用组合规则来解决超出分布的问题实例。
Feb, 2024
本文探讨了连接主义和经典派对智能的实现方法，提出了一种混合方法来改进推理中的系统化泛化，通过代数表示来提高思维抽象能力，在 Raven's Progressive Matrices 任务中表现出比纯连接主义模型更好的推理性能，并且学到的代数表示具有生成能力。
Nov, 2021
提出了一种基于 NSR 的神经符号递归机制，通过感知、语法解析和语义推理三个模块的联合学习来实现优越的系统化推广，并通过三个不同领域的基准测试取得了 state-of-the-art 的表现结果。
Oct, 2022
通过离散型系统和抽象学习框架的组合，提出了 ABL-Sym 算法，将 Transformer 神经模型与符号数学库相结合，从而在数学推理数据集上显示出显著的准确性提高。
Mar, 2022
介绍了一种广泛适用的形式主义，即组合问题图，以解决机器学习中不利于推广的问题，提出了组合泛化问题并引入组合递归学习器，该框架适用于学习算法过程以组合表示转换，从而产生能够进行推理的学习器。
Jul, 2018
本文介绍了一种神经符号 (混合) 组合推理模型，以将语言引导的视觉推理与机器人操作相结合。该模型通过使用共享的原始技能库以任务非特定的方式处理所有情况。通过语言解析器将输入查询映射为由这些原语组成的可执行程序取决于上下文。结果表明，该方法达到了非常高的准确性，同时可以进行少量的视觉微调，从而实现了真实场景的可转移性。
在这篇论文中，我们提出了一种名为 SYRELM 的架构，它通过采用符号求解器来将自然语言算术问题转化为形式化语言描述，然后通过一个小型冻结的 LM 生成包含自然语言描述的形式化表达式，并通过策略梯度强化学习训练适应的 LM，从而实现合理的算术推理。该方法在准确性上取得了巨大的改进，并具有易于诊断、解释和大多数研究人员可以使用的特点。
Dec, 2023