Oct, 2022

Join-Chain Network: Transformer 中多头注意力机制的逻辑推理视角

PDF
TL;DR提出一种符号推理架构，使用许多连接算子来模拟输出逻辑表达式，并演示这样的连接 - 链集合可以表达广泛子集的一阶逻辑表达式，名为 FOET，特别适用于建模自然语言。
neural architectureslogical reasoningsymbolic reasoning architecturenatural language processingfoet
发现论文，激发创造
  • 使用乐高揭示变形金刚：一项综合推理任务

    提出了一个综合推理任务 LEGO，研究了 Transformer 架构如何学习这个任务，特别关注预训练和数据组成等数据效应，从而提出了一种假设，在 LEGO 任务中预训练有所帮助，因为存在一定的结构化注意力模式，经实验证实。同时提出 LEGO 注意力模块，是 vanilla 注意力头的可替换选择，显著减少 Flops 并维持或甚至提高模型的大规模预训练性能。

    Jun, 2022

  • 使用逻辑归纳偏置学习语言表示

    本文介绍了一种基于逻辑推理的神经网络架构 FOLNet，它可以有效地学习强大的语言表示，并具有更强的迁移学习能力。实验证明，FOLNet 模型在多个语言理解任务中胜过了现有的强大的基于 Transformer 的方法。

    Feb, 2023

  • 使用递归神经网络对实体、关系和文本进行推理链

    本论文致力于将符号逻辑推理的多步骤推理与神经网络的概括功能相结合。在文本和大型知识库中对实体和关系进行复杂推理。提出了三种重要的建模方法：（1）学习联合推理关系（2）使用神经注意力建模多个路径（3）学习在单个 RNN 中共享强度，使用我们的方法在实验任务中实现了 25％的错误率降低，推理中的错误率降低了 84％。

    Jul, 2016

  • 使用 Transformer 进行事实链的自回归推理

    本文提出了一种迭代推理算法来实现多跳解释再生，该算法根据自然语言问题和其答案检索相关的事实证据。该算法通过自回归地从语料库中选取事实，以学习排序损失的方式来缓解多源证据的选择问题。使用预训练的 Transformer 模型进行实验，结果显示该算法在精度、培训时间和推理效率方面均优于先前的最先进技术。

    Dec, 2020

  • 基于推理链的多跳问答

    该论文提出了一种在多步问题回答中维护显式推理过程的方法。该方法提取一个离散的推理链，并将其提供给一个基于 BERT 的 QA 模型来进行最终答案预测。我们的方法在两个近期提出的大型多跳问题回答数据集 ——WikiHop 和 HotpotQA 上进行了测试，并取得了令人瞩目的成果。

    Oct, 2019

  • 思维链推理是一种策略改进算子

    通过思维链推理自主学习的大语言模型可以教会自己新技能，超越了依赖大量人工生成数据进行训练的能力。

    Sep, 2023

  • 超网络中的注意力

    使用超网络将多头注意力重新定义为低维潜在代码来加强 Transformer 的组合泛化能力，在抽象推理任务上展示了模型规模和数据扩展如何实现组合泛化并生成功能结构化的潜在代码。

    Jun, 2024

  • 基于关系注意力的图结构任务通用 Transformer

    本文描述了如何使用关系注意力处理图数据，以及在各种基准测试中比图神经网络做得更好的关系变压器。

    Oct, 2022

  • 迭代头部：关于思维链式机制的研究

    本文通过在可控且可解释的环境中演示，填补了对 CoT 推理内在机制和出现条件的理解有限之处，观察到一种专门用于迭代推理的特殊注意力机制 ——“迭代头”，并追踪到注意力层次上这些迭代头的出现和精确运作，并测量其所产生的 CoT 技能在任务间的可传递性。

    Jun, 2024

  • 思维链的强弱取决于最薄弱一环：推理链验证器的基准评估

    我们引入了 Reveal：推理验证评估，这是一个新的数据集，用于在开放域问题回答设置中评估复杂的链式推理的自动验证器，包括语言模型的答案中每个推理步骤的相关性、证据归因和逻辑正确性的全面标签。

    Feb, 2024