Abstractors: 符号消息传递和关系推理的 Transformer 模块
调查了 Transformer 大型语言模型在涉及抽象符号的关系推理任务中的能力。对于 (i) 回归任务，我们证明了 Transformer 在训练时具有泛化性，但需要大量的训练数据；对于具有符号标签的 (ii) 下一个令牌预测任务，我们展示了一种 “反比例尺律”：随着嵌入维度的增加，Transformer 无法泛化。针对 (i) 和 (ii) 这两种情况，我们提出了微妙的 Transformer 修改，通过每个头部添加两个可训练参数来减少所需的数据量。
Oct, 2023
本研究探索了将符号模块的信息注入交互式智能体的技术，同时测试了这些智能体在文本游戏中的推理能力，结果表明将符号模块的操作注入到行动空间中可以提高代理程序在涉及算术、导航、排序和常识推理的四个文本游戏基准上的表现。此技术易于扩展到新的智能体，环境和符号模块。
Oct, 2022
使用数据生成方法和符号代数，对变换器编码器的数学推理和泛化进行了 200,000 个例子的超大规模实验，并回答了变换器是否可以学习应用符号规则并推广到超出分布范围的例子。结果表明，扰动严重影响性能，并且可以将 F1 分数降至低于 17％，这表明推理主要由与数学运算的深层理解无关的表层模式所支配。
May, 2023
ReasonFormer 是一个统一的推理框架，受认知科学中的双过程理论的启发，它可以模拟人类在复杂决策制定中的模块化和组合推理过程。它由表示模块和推理模块组成，可以捕捉不同层次的认知过程，并模拟组合推理过程来控制推理技能的激活以及推理深度。ReasonFormer 通过单一模型解决多个任务，并在端到端的方式下进行训练和推断。在 11 个需要不同推理技能和复杂度的数据集上进行评估，ReasonFormer 展示了显著的性能提升，揭示了组合推理的能力。而且它在少样本的实验中表现出更好的泛化能力，并解耦表示模块和推理模块。最后通过进一步的分析也揭示了推理模块的模块化特性。
Oct, 2022
本文介绍了抽象模块和抽象模块化系统等概念，以研究将不同形式主义集成到模块化知识表示系统中所涉及的原则，并展示了如何将它们应用于多种形式主义。 Transition System 是这些原则的自然和方便表示，可以用于 SAT 社区开发的求解器的流程表示。
Dec, 2013
通过离散型系统和抽象学习框架的组合，提出了 ABL-Sym 算法，将 Transformer 神经模型与符号数学库相结合，从而在数学推理数据集上显示出显著的准确性提高。
Mar, 2022
研究使用实体类型抽象在预训练的转换器中的效用，并在四个需要不同形式逻辑推理的自然语言处理任务上测试这些方法：(1) 基于文本关系推理的组合语言理解 (CLUTRR)，(2) 异化推理 (ProofWriter)，(3) 多跳问题回答 (HotpotQA) 和 (4) 对话问题回答 (CoQA)。我们提出并实证探讨了三种添加这种抽象的方法：(i) 作为额外的输入嵌入，(ii) 作为单独的序列来编码，(iii) 作为模型的辅助预测任务。总的来说，我们的分析表明，具有实体抽象知识的模型比没有它的模型表现得更好。最佳的抽象感知模型在 CLUTRR 和 ProofWriter 上实现了 88.8% 和 91.8% 的总体准确性，而基线模型分别实现了 62.9% 和 89.8%。然而，对于 HotpotQA 和 CoQA，我们发现 F1 得分平均只提高了 0.5%。我们的结果表明，显式抽象的好处在形式上定义了需要多种推理跳数的逻辑推理设置中是显著的，但指向了这种抽象在较少准确逻辑结构的 NLP 任务中益处较小的概念。
Jan, 2022