ICLRMar, 2024

神经算法推理的马尔可夫性质：分析与方法

PDF
TL;DR神经算法推理是一种新兴的研究方向，它赋予神经网络以逐步模拟算法执行的能力。本文的观察是，现有设计中的历史依赖性与算法推理任务的马尔可夫性质相矛盾。基于这一动机，我们提出了 ForgetNet，它不使用历史嵌入，因此与任务的马尔可夫性质一致。为了解决 ForgetNet 在早期训练阶段的挑战，我们进一步引入了 G-ForgetNet，使用门控机制来实现历史嵌入的选择性集成。这种增强的能力在模型的早期训练阶段提供了有价值的计算路径。基于 CLRS-30 算法推理基准，我们进行了大量实验证明，ForgetNet 和 G-ForgetNet 相较于现有方法更具有泛化能力。此外，我们研究了门控机制的行为，突显了其与我们的直觉的一致性以及在稳健性能方面的有效性。
neural algorithmic reasoningmarkov naturehistorical embeddingsforgetnetg-forgetnet
发现论文，激发创造
  • 图神经网络中的算法推理

    通过与神经网络和热带代数的连接，将算法推理集成到机器学习模型中的潜力展示出来。

    Feb, 2024

  • 离散神经算法推理

    我们提出了一种神经推理器的架构选择，强制其将执行轨迹视作有限预定义状态的组合，通过对算法状态转换进行监督训练，以实现与原始算法的完美对齐，并在 SALSA-CLRS 基准测试中获得了完美的测试分数，同时使得我们能够证明对于任何测试数据，所学算法的正确性。

    Feb, 2024

  • 神经算法推理

    通过构建神经网络来执行算法计算的神经算法推理有可能将经典算法运用于以前被视为不可达的输入，从而有了转化性的潜力。

    May, 2021

  • 神经网络能够推理什么？

    本文开发了一个框架来描述神经网络适用于哪些推理任务，并利用算法结构与相关推理过程的匹配程度推导了样本复杂度的界限，以解释一些模型在实践中的成功以及他们的局限性。

    May, 2019

  • 无中间监督的神经算法推理

    本研究旨在通过提出简单但有效的建筑改进并构建一种自我监督目标来学习神经算法推理，以在 CLRS 算法推理基准测试中获得新的最先进结果，并在各种问题中获得显着的改进，证明了不需要中间监督的学习方法是神经推理器进一步研究的有希望的方向。

    Jun, 2023

  • 递归算法推理

    本研究提出了一种使用栈来增强图神经网络（GNNs）的方式和一种捕获中间算法轨迹的方法，以改进递归算法的算法对齐，从而提高对较大输入图的泛化性能。

    Jul, 2023

  • 概率逻辑神经网络推理

    该论文提出了一种基于 Markov Logic Network 和知识图谱嵌入方法的概率逻辑神经网络 (pLogicNet) 来推理缺失的三元组，该方法结合了两种技术的优点，并通过多重知识图实验证明了其优越性。

    Jun, 2019

  • Transformer 相遇神经算法推理者

    使用 Transformer 的语言理解和图神经网络（GNN）的鲁棒性，我们提出了一种新的方法，将 Transformer 与基于神经算法推理器（NARs）的图算法进行结合，以解决算法推理方面的问题。经过评估，在算法推理方面，我们的结果表明 TransNAR 模型在 CLRS-Text 上相较于仅使用 Transformer 模型，能够获得显著的提升。

    Jun, 2024

  • 自然语言的多步演绎推理：基于未知分布泛化的实证研究

    本文提出了一种基于神经内存网络的迭代神经推理网络，使用门控机制进行推理，旨在解决多步推理中不平衡推理深度分布的问题，并将其应用于三个数据集上，实验结果表明该模型可以实现比 DeepLogic 和其他 RNN 基准模型更高的测试准确性，并在规则被洗牌时具有更好的超分布泛化能力。

    Jul, 2022

  • 双算法推理

    该研究主要探讨利用神经算法推理来解决复杂问题，通过优化算法学习和同时学习最大流和最小割算法，可以在神经网络中进行更好的学习，并且在实际应用中产生了显著的性能提升。

    Feb, 2023