Jun, 2020

神经执行引擎：学习执行子程序

PDF
TL;DR通过研究数值子程序，该论文发现基于 transformer 的序列到序列模型可以学习排序等子程序，但当列表长度超出训练集时，性能迅速下降。作者提出了一种条件掩蔽机制来解决这个问题，并展示了使用二进制表示编码数字可以处理训练过程中未见数据的能力，从而取得更好的推广效果。
neural networksalgorithmic reasoninggeneralization issuestransformer-based modelsbinary representation
发现论文，激发创造
  • 基于结构化任务训练的 Transformer 模型的系统泛化和涌现结构

    该文探讨了怎样使用 Transformer 网络在算法任务中表现良好，展示了多层 transformer 网络在任务分解中的可靠性解决方案，以及所有相关任务中的共享计算的利用。

    Oct, 2022

  • Transformers 能否递归地学会解决问题？

    本文研究了神经网络在程序编写和形式验证方面的行为，重点关注结构递归，并评估了变压器模型在近似这些函数中的能力及其局限性，并通过重构算法正确预测了近似函数的失败案例的 91％。

    May, 2023

  • 一个神经重写系统用于解决算法问题

    我们提出了一种用于学习算法任务的原创方法，该方法受符号人工智能中的重写系统的启发，该系统由专门的模块组成的神经结构实现，通过系统地应用组合规则来解决超出分布的问题实例。

    Feb, 2024

  • 转换器可以学习哪些算法？长度泛化研究

    大型语言模型的新兴泛化特性方面已经有了惊人的发现，但在诸多简单推理任务（如算术和奇偶性等）上仍存在问题。本研究针对算法任务的长度泛化范围，通过提出一个统一的框架，阐述了 Transformer 模型在特定任务上表现出的能力和方式。

    Oct, 2023

  • 透过递归实现神经编程体系结构的泛化

    通过在神经程序员 - 解释器框架中实现递归来解决学习程序时神经网络泛化能力和推理能力不足的问题，证明该方法在少量训练数据的情况下具有更好的泛化性和可解释性，体验表明为了让神经网络更好的学习程序语义，需要像递归这样的概念。

    Apr, 2017

  • 能否学习算法？使用循环网络从易到难问题进行泛化

    本文讨论了深度神经网络在视觉模式识别方面的强大能力，但在推理任务中仍然表现不足，引入了使用循环神经网络解决问题的算法，并通过前缀和计算，迷宫和棋类游戏等问题进行了实验研究。

    Jun, 2021

  • 通用神经算法学习器

    该论文介绍了一种基于图神经网络的通用神经算法学习器，能够学习执行多种算法，如排序、搜索、动态规划、路径查找和几何等，同时提出了一系列改进方法，进一步提高了单任务性能和多任务学习的效果。

    Sep, 2022

  • 递归算法推理

    本研究提出了一种使用栈来增强图神经网络（GNNs）的方式和一种捕获中间算法轨迹的方法，以改进递归算法的算法对齐，从而提高对较大输入图的泛化性能。

    Jul, 2023

  • 抽象、推理和深度学习：一个 “看和说” 序列的研究

    本文研究深度神经网络在 “Look and Say” 题目上的表现并发现尽管在大规模数据（200 万数据）训练时准确度很高，但它们并没有展现出任何关于问题更深层次理解的迹象，这也从认知科学角度说明我们需要更好的抽象数学模型。

    Sep, 2021

  • 使用 Transformer 进行计数和算法推广

    机器学习中的算法泛化是指以一种能够概括超出数据分布的方式学习生成数据的底层算法。在本研究中，我们分析了在涉及计数时，不论是隐式还是显式所需的算法泛化。我们展示了标准 Transformer 模型基于的架构决策阻碍了此类任务的超出分布性能。特别是，我们讨论了使用层归一化和通过 softmax 归一化注意力权重的后果。通过消融引起问题的操作，我们证明通过使用非常轻量级的架构，修改后的 Transformer 能够表现出良好的计数算法泛化性能。

    Oct, 2023