CVPRJun, 2024

Transformer 相遇神经算法推理者

PDF
TL;DR使用 Transformer 的语言理解和图神经网络（GNN）的鲁棒性，我们提出了一种新的方法，将 Transformer 与基于神经算法推理器（NARs）的图算法进行结合，以解决算法推理方面的问题。经过评估，在算法推理方面，我们的结果表明 TransNAR 模型在 CLRS-Text 上相较于仅使用 Transformer 模型，能够获得显著的提升。
发现论文，激发创造
  • 图神经网络中的算法推理

    通过与神经网络和热带代数的连接，将算法推理集成到机器学习模型中的潜力展示出来。

    Feb, 2024

  • NAR-Former V2：重新思考 Transformer 的通用神经网络表示学习

    本文提出了一种改进的基于 Transformer 的神经网络表示学习模型 NAR-Former V2，可以从细胞结构网络和整个网络中学习出高效的表示方法，并通过实验证明了其在学习图结构表示方面的能力比基于 GNN 方法 NNLP 更加优越。

    Jun, 2023

  • 神经算法推理器的潜在空间表征

    神经算法推理 (NAR) 是一个研究领域，旨在设计神经网络结构，能够可靠地捕捉经典计算，通常通过学习执行算法。该研究分析了图神经网络 (GNN) 在执行算法时所产生的潜在空间结构，并提出了解决失去分辨率和处理训练范围之外值的方法。通过在基准测试中使用最先进的 Triplet-GMPNN 处理器，我们表明这些改变可以改善大多数算法的性能。

    Jul, 2023

  • N-Grammer: 使用潜在 n-gram 扩充 Transformer

    本研究提出了一种新的改进 Transformer 模型的方法，使用了文本序列中的离散潜在表示构造 n-gram，并应用于语言建模和文本分类中，经实验证明性能优于传统的 Transformer 模型和 Primer，该模型已在 Jax 中开源以便复现。

    Jul, 2022

  • 变压器作为语言上的软推理器

    本论文研究一种新的知识表示方法，采用自然语言句子代替形式化表示，并使用合成数据训练 Transformer 模型进行推理。该方法有望提供一种新的 “软定理证明器” 的运作方式，用于问题回答，实现解释性、校正性和反事实推理等新功能。

    Feb, 2020

  • GraphFormers: 融合 GNN 和 Transformer 的文本图卷积神经网络表示学习

    本文提出了一种基于文本图的表示学习方法 GraphFormers，该方法将语言模型的 Transformer 块与图神经网络嵌套在一起，将文本编码和图聚合融合到迭代的工作流程中，从全局视角准确地理解每个节点的语义。通过在三个大规模基准数据集上的广泛评估，GraphFormers 比 SOTA 基准模型具有相当的运行效率。

    May, 2021

  • Transformer 能否在自然语言的片段中进行推理？

    本文对深度学习在自然语言处理（NLP）方面的最新应用进行了调查研究，发现 transformer-based language models 在检测受控自然语言片段的有效推理方面表现出明显的过拟合问题，未能获取主导推理的逻辑原则。

    Nov, 2022

  • 通过自然语言可满足性推动变形金刚规则推理的极限

    本研究通过提出一种新的方法构建具有挑战性的自然语言可满足性问题数据集，以研究 transformer 模型的推理能力，发现这些模型在解决困难的 NLSat 问题方面表现出非常强的能力，但仍然存在限制，包括需要选取适当的训练数据才能适用于更大的问题和限制其推理能力的问题。

    Dec, 2021

  • 通过图算法理解 Transformer 推理能力

    Transformer 自动缩放机制、算法推理能力的研究（深度、宽度、额外标记数）及在图推理任务中的优秀表现。

    May, 2024

  • Transformer 中的推理：减轻伪相关性和推理捷径

    用已知有误导性关联的数据集，在逻辑推理任务中训练两种模型：基于证明的生成式 Transformer 模型 WP-BART 和神经符号模型 SIP-BART。结果发现，SIP-BART 能够避免逻辑推理的捷径，而 WP-BART 无法。对于 SIP-BART，还发现了几种之前文献中未描述的推理错误类型，并进行了定性分析，创建了一个包含四种不同陷阱类型的分类系统。

    Mar, 2024