SIGIRMay, 2022

Logiformer：一种用于解释性逻辑推理的双分支图转换器网络

PDF
TL;DRLogiformer 是采用图形变换器网络的端到端模型，具有解决逻辑推理中长距离依赖性问题和将离散逻辑结构映射到连续文本嵌入空间的优点，介绍了不同的逻辑单位抽取策略，采用动态门机制和问题感知的自我注意模块在答案预测之前更新特征，其推理过程利用逻辑单位提供了可解释性，实验证明其优于现有最先进的单一模型在两个逻辑推理基准测试上的性能。
machine reading comprehensionlogical reasoninggraph transformer networkattention biasesinterpretability
发现论文，激发创造
  • AdaLoGN: 基于自适应逻辑图网络的推理型机器阅读理解

    提出一种新的神经符号方法，用于解决包含逻辑推理的阅读理解题，通过输入文本单位之间的逻辑关系图，并辅以一个自适应逻辑图网络 (AdaLoGN) 来推断逻辑关系，从而实现神经和符号之间的相互加强，有效回答多项选择题。在 ReClor 和 LogiQA 上实现了完整的测试并获得了良好的实验结果。

    Mar, 2022

  • LogicalFactChecker：利用逻辑运算进行图模组网络事实检查

    本论文提出了 LogicalFactChecker，这是一种基于神经网络的方法，能够利用逻辑操作来进行事实检查，并且在 TABFACT 数据集上实现了最先进的性能，通过 Transformer-based 架构构建基于图形模块网络的异构图使得每个单词在语句、表格和程序中的相关上下文都能被观察到，并通过程序驱动的模块网络进一步利用了程序的层次结构。

    Apr, 2020

  • 针对文本逻辑推理的话语感知图网络

    本文提出了逻辑结构约束建模的方法，通过引入针对命题单元的蕴涵或矛盾关系而非实体关系的逻辑结构来解决基于逻辑推理的问题回答任务，使用基于语篇的图网络实现了逻辑图构建和逻辑特征学习，并将基础特征与高级逻辑特征相结合，实现文本编码器的答案预测，实验结果证明该方法在三个文本逻辑推理数据集上效果显著，并且具有未见过逻辑文本的普适性。

    Jul, 2022

  • GraphFormers: 融合 GNN 和 Transformer 的文本图卷积神经网络表示学习

    本文提出了一种基于文本图的表示学习方法 GraphFormers，该方法将语言模型的 Transformer 块与图神经网络嵌套在一起，将文本编码和图聚合融合到迭代的工作流程中，从全局视角准确地理解每个节点的语义。通过在三个大规模基准数据集上的广泛评估，GraphFormers 比 SOTA 基准模型具有相当的运行效率。

    May, 2021

  • 使用逻辑归纳偏置学习语言表示

    本文介绍了一种基于逻辑推理的神经网络架构 FOLNet，它可以有效地学习强大的语言表示，并具有更强的迁移学习能力。实验证明，FOLNet 模型在多个语言理解任务中胜过了现有的强大的基于 Transformer 的方法。

    Feb, 2023

  • 段落推理的多步推理

    本文介绍了一种类似神经模块网络的组合模型，旨在对文本进行复杂的逻辑推理，通过寻找文章中相关的句子，并使用神经模块将它们链接起来，模型在 ROPES 上取得了显著的性能改进。

    Apr, 2020

  • 语言模型可作为逻辑求解器

    LoGiPT 是一种新颖的语言模型，通过直接模拟逻辑求解器的推理过程并严格遵守求解器的语法规则，绕过分析错误，并在竞争的语言模型上表现出优异的性能。

    Nov, 2023

  • 基于事实的逻辑推理

    本研究提出了一种基于自然逻辑单元和事实推导方法的超图构建和问题回答方法，得到了较好的实验结果。

    May, 2021

  • Graph-ToolFormer：通过 ChatGPT 增强 Prompt 为 LLMs 赋予图推理能力

    本文旨在通过图形推理方法对大型语言模型进行增强，以使其能够完成复杂的图形学习任务，包括基本的图形数据推理和更高级的实际应用推理，我们提出了一个名为 Graph-ToolFormer 的框架，并在各种图形推理数据集和任务上进行了初步的实验研究。

    Apr, 2023

  • 通过链接话语单元和关键词建立层次推理链模型进行阅读理解

    本研究提出了一种基于全面图网络的逻辑推理方法，在上下文和单词层面处理上下文，通过层次交互机制建模节点级关系和类型级关系，以提高阅读理解系统的解释能力和理解复杂逻辑关系的能力。

    Jun, 2023