本文研究了神经算法推理与图神经网络的最新进展,特别关注神经网络的动态规划以及范畴论和抽象代数,验证了它们之间的内在联系,得到在边缘任务上更坚实的 GNN 体系结构,并在 CLRS 算法推理基准测试中证明了实证结果。
Mar, 2022
通过与神经网络和热带代数的连接,将算法推理集成到机器学习模型中的潜力展示出来。
Feb, 2024
最近在神经算法推理方面的研究表明,图神经网络(GNN)可以学习执行经典算法。然而,这种方法始终使用了循环架构,其中每个 GNN 的迭代与算法的迭代相匹配。我们猜测并经验证,可以通过直接找到平衡点训练网络来解决算法问题,而不需要将每个 GNN 迭代与算法的步骤相匹配。
本文介绍了图神经网络(GNNs)的设计管道,详细讨论了其各个组成部分的变体,对其应用进行了系统分类,并提出了四个开放性问题供未来研究。
Dec, 2018
通过在算法空间中训练 Graph Neural Networks 来解决基于图结构的问题,使用基于最大化的信息传递神经网络来实现离散决策,同时实现了任务迁移并提升学习效果。
Oct, 2019
通过构建神经网络来执行算法计算的神经算法推理有可能将经典算法运用于以前被视为不可达的输入,从而有了转化性的潜力。
May, 2021
人工智能研究半个世纪以来一直试图复制人类的抽象和推理能力,创造出可以从一小组示例中学习新概念的计算机系统,在人类轻松掌握的情境下进行。然而,尽管特定神经网络能够解决一系列问题,但对于训练数据之外的广泛泛化,仍然是个难题。本文提出了几种新颖的解决方法,用于解决抽象与推理语料库 (ARC) 的问题。尽管竞赛的最佳算法仍然无法解决大多数 ARC 任务,并且依赖于复杂的手工规则,而不使用机器学习。我们重新审视了神经网络领域的最新进展是否能够在这个任务上取得进展,并提出了适应 ARC 的 DreamCoder 神经符号推理求解器。DreamCoder 自动编写特定领域的语言程序进行推理,并使用神经网络模拟人类直觉。我们提出了感知抽象与推理语言 (PeARL) 语言,使 DreamCoder 能够解决 ARC 任务,并提出了一种新的识别模型,显著改进了之前的最佳实现。我们还提出了一种新的编码和增强方案,使大语言模型 (LLMs) 能够解决 ARC 任务,并发现最大的模型可以解决一些 ARC 任务。LLMs 能够解决一组不同于现有解算器的问题,并为其他方法提供了一种有趣的补充方式。我们进行了集成分析,将模型结合起来以取得比任何单独系统更好的结果。最后,我们发布了 arckit Python 库,使未来对 ARC 的研究更加容易。
研究了图神经网络在泛化上的机制,建立了高概率边界和其对泛化差距和梯度的影响,得出结论和实验证据相符的新认识。
May, 2023
本文介绍了如何利用动态神经网络结构和基本逻辑操作,将深度学习和逻辑推理相结合,提出了名为 LINN 的模型,以推理方式解决推荐系统的问题,并在理论和实践任务中都取得了显著的性能提升。
Aug, 2020
Neural Reasoner 是一个基于神经网络的推理框架,具有特殊的交互池机制和深度结构,能够处理不同类型的推理和语言表达形式,并在两个困难人工任务中表现出优越性能。
Aug, 2015