Feb, 2024

NeuralThink: 通用任务的算法综合

HTML
PDF
TL;DR机器学习方法在模式识别方面表现出色，然而在可伸缩的算法推理任务方面仍存在困难。近期的深度思考方法在学习算法的外推方面表现出希望，即在较小的环境中学习并在较大的环境中执行学习到的算法。然而，这些方法局限于对称任务，其中输入和输出维度相同。为了弥补这一差距，我们提出了一种名为NeuralThink的新循环架构，能够一致地对称和不对称任务进行外推，其中输入和输出的维度不同。我们通过引入一种新颖的不对称任务基准来做出贡献。我们展示了NeuralThink在对称和不对称任务的稳定外推方面始终优于先前最先进的深度思考架构，尤其是对于从较小的训练样本中稳定地外推到较大观测样本。
发现论文，激发创造
  • 卷积神经网络的智能程度如何？

    通过合成实验，研究深度学习算法从图像中推断简单的视觉概念，如对称性，作者设计了“啊哈挑战”以促进对Gestalt风格机器智能的研究。实验表明，相比于深度卷积神经网络，人类能够很快推断出语义概念，但需要更少的示例才能做到这一点。

    Sep, 2017

  • 递归和深度的惊人相似性

    本文研究了深度神经网络的层次结构特征，发现递归神经网络与前馈网络在提取特征和处理深层次信息方面表现出类似的表现和性能优越，且递归模型能够模拟前馈模型的行为并使用更少的参数来实现图像分类和迷宫问题的求解。

    Feb, 2021

  • 神经算法推理

    通过构建神经网络来执行算法计算的神经算法推理有可能将经典算法运用于以前被视为不可达的输入，从而有了转化性的潜力。

    May, 2021

  • 能否学习算法？使用循环网络从易到难问题进行泛化

    本文讨论了深度神经网络在视觉模式识别方面的强大能力，但在推理任务中仍然表现不足，引入了使用循环神经网络解决问题的算法，并通过前缀和计算，迷宫和棋类游戏等问题进行了实验研究。

    Jun, 2021

  • 抽象、推理和深度学习：一个“看和说”序列的研究

    本文研究深度神经网络在“Look and Say”题目上的表现并发现尽管在大规模数据（200万数据）训练时准确度很高，但它们并没有展现出任何关于问题更深层次理解的迹象，这也从认知科学角度说明我们需要更好的抽象数学模型。

    Sep, 2021

  • 使用循环神经网络进行端到端算法合成：逻辑推断而不过度思考

    本研究提出了一种记忆回溯网络算法，采用保留问题实例的显式副本以及渐进式训练方法，解决了循环系统复杂问题迭代次数过多导致退化行为的问题，从而使循环系统能够解决极难的算法推理问题。

    Feb, 2022

  • 学习外推：一种横式学习方法

    本文研究了利用和超参数微调相关的重新参数化策略，增强深度学习系统在特定条件下的组合泛化能力，从而解决超域外推问题。该方法在各种监督学习和模仿学习任务中均具有实用性。

    Apr, 2023

  • Transformer工作记忆促进正则语言推理和自然语言长度外推

    RegularGPT是一种新型Transformer变体，通过Weight-Sharing、Adaptive-Depth和Sliding-Dilated-Attention实现基于深度的工作记忆，并成功地对PARITY等正则语言进行建模，并在自然语言长度外推任务中表现出了出乎意料的效果，重新发现了以前工作中视为长度外推必要的局部窗口化注意机制。

    May, 2023

  • 递归算法推理

    本研究提出了一种使用栈来增强图神经网络（GNNs）的方式和一种捕获中间算法轨迹的方法，以改进递归算法的算法对齐，从而提高对较大输入图的泛化性能。

    Jul, 2023

  • 关于具有递归和隐式网络的迷宫逻辑外推

    本研究探讨了递归神经网络（RNNs）和隐式神经网络（INNs）在逻辑外推中的能力，特别是在迷宫求解任务中，发现这些网络在大小方面能够泛化，但在其他困难维度上有所欠缺。此外，研究表明，训练收敛于固定点的模型在外推时表现良好，而未针对固定点训练的模型则可能展现出更复杂的极限行为。这强调了对外推动态的深入分析对于设计更高效且可解释的逻辑外推器的重要性。

    Oct, 2024