神经算法推理器的潜在空间表征

ICMLJul, 2023

Latent Space Representations of Neural Algorithmic Reasoners

Vladimir V. Mirjanić, Razvan Pascanu, Petar Veličković

TL;DR神经算法推理 (NAR) 是一个研究领域，旨在设计神经网络结构，能够可靠地捕捉经典计算，通常通过学习执行算法。该研究分析了图神经网络 (GNN) 在执行算法时所产生的潜在空间结构，并提出了解决失去分辨率和处理训练范围之外值的方法。通过在基准测试中使用最先进的 Triplet-GMPNN 处理器，我们表明这些改变可以改善大多数算法的性能。

Abstract

neural algorithmic reasoning (NAR) is a research area focused on designing neural architectures that can reliably capture classical computation, usually by learning to execute algorithms. A typical approach is to rely on Graph Neural Network (GNN) architectures, which encode inputs in

neural algorithmic reasoning graph neural network latent space softmax aggregator triplet-gmpnn

发现论文，激发创造

图神经网络中的算法推理

通过与神经网络和热带代数的连接，将算法推理集成到机器学习模型中的潜力展示出来。

Feb, 2024

Transformer 相遇神经算法推理者

使用 Transformer 的语言理解和图神经网络（GNN）的鲁棒性，我们提出了一种新的方法，将 Transformer 与基于神经算法推理器（NARs）的图算法进行结合，以解决算法推理方面的问题。经过评估，在算法推理方面，我们的结果表明 TransNAR 模型在 CLRS-Text 上相较于仅使用 Transformer 模型，能够获得显著的提升。

Jun, 2024

潜空间中的数学推理

通过在固定维度的潜在空间中进行的近似推理的几个步骤，我们证明了神经网络可以对语句进行重写和推理，这对于各种数学学科都是可行的。

Sep, 2019

离散神经算法推理

我们提出了一种神经推理器的架构选择，强制其将执行轨迹视作有限预定义状态的组合，通过对算法状态转换进行监督训练，以实现与原始算法的完美对齐，并在 SALSA-CLRS 基准测试中获得了完美的测试分数，同时使得我们能够证明对于任何测试数据，所学算法的正确性。

Feb, 2024

图神经网络中的神经结构搜索

本文比较了基于强化学习和进化算法的两种神经架构搜索方法来优化图神经网络，结果在包括 7 个数据集的两个搜索空间内显示出两种方法的准确性与随机搜索相似，引出了有多少搜索空间维度实际上与问题相关的问题。

Jul, 2020

NAR-Former V2：重新思考 Transformer 的通用神经网络表示学习

本文提出了一种改进的基于 Transformer 的神经网络表示学习模型 NAR-Former V2，可以从细胞结构网络和整个网络中学习出高效的表示方法，并通过实验证明了其在学习图结构表示方面的能力比基于 GNN 方法 NNLP 更加优越。

Jun, 2023

神经网络的抽象和推理：迈向机器的广泛泛化

人工智能研究半个世纪以来一直试图复制人类的抽象和推理能力，创造出可以从一小组示例中学习新概念的计算机系统，在人类轻松掌握的情境下进行。然而，尽管特定神经网络能够解决一系列问题，但对于训练数据之外的广泛泛化，仍然是个难题。本文提出了几种新颖的解决方法，用于解决抽象与推理语料库 (ARC) 的问题。尽管竞赛的最佳算法仍然无法解决大多数 ARC 任务，并且依赖于复杂的手工规则，而不使用机器学习。我们重新审视了神经网络领域的最新进展是否能够在这个任务上取得进展，并提出了适应 ARC 的 DreamCoder 神经符号推理求解器。DreamCoder 自动编写特定领域的语言程序进行推理，并使用神经网络模拟人类直觉。我们提出了感知抽象与推理语言 (PeARL) 语言，使 DreamCoder 能够解决 ARC 任务，并提出了一种新的识别模型，显著改进了之前的最佳实现。我们还提出了一种新的编码和增强方案，使大语言模型 (LLMs) 能够解决 ARC 任务，并发现最大的模型可以解决一些 ARC 任务。LLMs 能够解决一组不同于现有解算器的问题，并为其他方法提供了一种有趣的补充方式。我们进行了集成分析，将模型结合起来以取得比任何单独系统更好的结果。最后，我们发布了 arckit Python 库，使未来对 ARC 的研究更加容易。

Feb, 2024

神经算法推理的马尔可夫性质：分析与方法

神经算法推理是一种新兴的研究方向，它赋予神经网络以逐步模拟算法执行的能力。本文的观察是，现有设计中的历史依赖性与算法推理任务的马尔可夫性质相矛盾。基于这一动机，我们提出了 ForgetNet，它不使用历史嵌入，因此与任务的马尔可夫性质一致。为了解决 ForgetNet 在早期训练阶段的挑战，我们进一步引入了 G-ForgetNet，使用门控机制来实现历史嵌入的选择性集成。这种增强的能力在模型的早期训练阶段提供了有价值的计算路径。基于 CLRS-30 算法推理基准，我们进行了大量实验证明，ForgetNet 和 G-ForgetNet 相较于现有方法更具有泛化能力。此外，我们研究了门控机制的行为，突显了其与我们的直觉的一致性以及在稳健性能方面的有效性。

Mar, 2024

NAR-Former: 面向整体属性预测的神经架构表示学习

该论文提出了基于神经网络架构表示模型的多阶段融合变压器，可用于估计神经网络结构的精确度和延迟，并展示了其在各种神经网络和单个 cell 结构的实用性和良好性能。

Nov, 2022

TAR: TBox 和 ABox 跨越神经逻辑推理

本文研究了跨 TBox 和 ABox 的神经逻辑推理问题，提出了一种名为 TAR 的解决方案，该方案在模糊集合的概念表示和查询上进行运算和优化。在两个现实世界的数据集上进行了广泛的实验，证实了 TAR 在 TA-NLR 方面的有效性。

May, 2022