递归算法推理
针对图状数据的学习问题,该研究提出了一种基于递归架构的图神经网络算法,其关键在于使用跳过连接、状态规则化和边缘卷积等三种技术以实现对小型图问题的端到端学习及大规模图问题的推广。实验证明该算法具有较高的推广能力。
Dec, 2022
通过在算法空间中训练 Graph Neural Networks 来解决基于图结构的问题,使用基于最大化的信息传递神经网络来实现离散决策,同时实现了任务迁移并提升学习效果。
Oct, 2019
本文讨论了标准深度学习方法的局限性,并展示了如何通过以结构化方式增加模型的复杂性来克服这些限制,具体地,研究了仅适用于具有计数和记忆序列能力模型的算法生成序列的最简单序列预测问题,证明了可以使用与可训练内存相关的循环网络从序列数据中学习一些基本算法。
Mar, 2015
最近在神经算法推理方面的研究表明,图神经网络(GNN)可以学习执行经典算法。然而,这种方法始终使用了循环架构,其中每个 GNN 的迭代与算法的迭代相匹配。我们猜测并经验证,可以通过直接找到平衡点训练网络来解决算法问题,而不需要将每个 GNN 迭代与算法的步骤相匹配。
Feb, 2024
本文讨论了深度神经网络在视觉模式识别方面的强大能力,但在推理任务中仍然表现不足,引入了使用循环神经网络解决问题的算法,并通过前缀和计算,迷宫和棋类游戏等问题进行了实验研究。
Jun, 2021
本文研究了神经算法推理与图神经网络的最新进展,特别关注神经网络的动态规划以及范畴论和抽象代数,验证了它们之间的内在联系,得到在边缘任务上更坚实的 GNN 体系结构,并在 CLRS 算法推理基准测试中证明了实证结果。
Mar, 2022
我们提出了一种神经推理器的架构选择,强制其将执行轨迹视作有限预定义状态的组合,通过对算法状态转换进行监督训练,以实现与原始算法的完美对齐,并在 SALSA-CLRS 基准测试中获得了完美的测试分数,同时使得我们能够证明对于任何测试数据,所学算法的正确性。
Feb, 2024
本文开发了一个框架来描述神经网络适用于哪些推理任务,并利用算法结构与相关推理过程的匹配程度推导了样本复杂度的界限,以解释一些模型在实践中的成功以及他们的局限性。
May, 2019
本研究提出了一种记忆回溯网络算法,采用保留问题实例的显式副本以及渐进式训练方法,解决了循环系统复杂问题迭代次数过多导致退化行为的问题,从而使循环系统能够解决极难的算法推理问题。
Feb, 2022
通过在神经程序员 - 解释器框架中实现递归来解决学习程序时神经网络泛化能力和推理能力不足的问题,证明该方法在少量训练数据的情况下具有更好的泛化性和可解释性,体验表明为了让神经网络更好的学习程序语义,需要像递归这样的概念。
Apr, 2017