Feb, 2022

使用循环神经网络进行端到端算法合成：逻辑推断而不过度思考

PDF
TL;DR本研究提出了一种记忆回溯网络算法，采用保留问题实例的显式副本以及渐进式训练方法，解决了循环系统复杂问题迭代次数过多导致退化行为的问题，从而使循环系统能够解决极难的算法推理问题。
发现论文，激发创造
  • NeuralThink: 通用任务的算法综合

    机器学习方法在模式识别方面表现出色，然而在可伸缩的算法推理任务方面仍存在困难。近期的深度思考方法在学习算法的外推方面表现出希望，即在较小的环境中学习并在较大的环境中执行学习到的算法。然而，这些方法局限于对称任务，其中输入和输出维度相同。为了弥补这一差距，我们提出了一种名为 NeuralThink 的新循环架构，能够一致地对称和不对称任务进行外推，其中输入和输出的维度不同。我们通过引入一种新颖的不对称任务基准来做出贡献。我们展示了 NeuralThink 在对称和不对称任务的稳定外推方面始终优于先前最先进的深度思考架构，尤其是对于从较小的训练样本中稳定地外推到较大观测样本。

    Feb, 2024

  • 能否学习算法？使用循环网络从易到难问题进行泛化

    本文讨论了深度神经网络在视觉模式识别方面的强大能力，但在推理任务中仍然表现不足，引入了使用循环神经网络解决问题的算法，并通过前缀和计算，迷宫和棋类游戏等问题进行了实验研究。

    Jun, 2021

  • 使用堆栈增强循环网络推断算法模式

    本文讨论了标准深度学习方法的局限性，并展示了如何通过以结构化方式增加模型的复杂性来克服这些限制，具体地，研究了仅适用于具有计数和记忆序列能力模型的算法生成序列的最简单序列预测问题，证明了可以使用与可训练内存相关的循环网络从序列数据中学习一些基本算法。

    Mar, 2015

  • 递归算法推理

    本研究提出了一种使用栈来增强图神经网络（GNNs）的方式和一种捕获中间算法轨迹的方法，以改进递归算法的算法对齐，从而提高对较大输入图的泛化性能。

    Jul, 2023

  • 学习外推：一种横式学习方法

    本文研究了利用和超参数微调相关的重新参数化策略，增强深度学习系统在特定条件下的组合泛化能力，从而解决超域外推问题。该方法在各种监督学习和模仿学习任务中均具有实用性。

    Apr, 2023

  • 支持外推的表征学习

    本文考虑了学习支持外推的表示的挑战，引入了一种新颖的视觉类比基准和一种简单的技术：时间上下文归一化来支持关系强调的表示，接着发现该技术显著提高了外推能力，胜过了许多竞争技术。

    Jul, 2020

  • 一个神经重写系统用于解决算法问题

    我们提出了一种用于学习算法任务的原创方法，该方法受符号人工智能中的重写系统的启发，该系统由专门的模块组成的神经结构实现，通过系统地应用组合规则来解决超出分布的问题实例。

    Feb, 2024

  • 自适应递归视觉执行零样本计算，以适应未见困难程度的扩展

    通過使用自適應遞歸神經網絡，我們研究了可根據輸入要求動態分配計算資源的遞歸處理，在視覺推理問題中實現了對更困難程度的一般化，而無需訓練。

    Nov, 2023

  • DeepLogic: 基于端到端可微分的逻辑推理

    探索如何使用基于 RNN 的迭代神经网络将符号逻辑定义为字符级逻辑程序，使其在高维向量空间中学习推理，进一步分析学习推理算法如何产生逻辑程序中的原子、文字和规则表示，并针对谓词和常量符号的长度以及多次跳跃推理的步数进行评估。

    May, 2018

  • 使用循环图神经网络学习图算法

    针对图状数据的学习问题，该研究提出了一种基于递归架构的图神经网络算法，其关键在于使用跳过连接、状态规则化和边缘卷积等三种技术以实现对小型图问题的端到端学习及大规模图问题的推广。实验证明该算法具有较高的推广能力。

    Dec, 2022