May, 2023

Transformers 能否递归地学会解决问题？

PDF
TL;DR本文研究了神经网络在程序编写和形式验证方面的行为，重点关注结构递归，并评估了变压器模型在近似这些函数中的能力及其局限性，并通过重构算法正确预测了近似函数的失败案例的 91％。
neural networkstransformer modelsstructural recursionformal verification proofssemantic information
发现论文，激发创造
  • 基于 Transformer 的模型在学习模拟结构递归方面仍不完美

    研究了基于 Transformer 模型从示例中学习结构递归的能力，探讨了该模型在性能和语义理解等方面的局限性。

    Jan, 2024

  • 透过递归实现神经编程体系结构的泛化

    通过在神经程序员 - 解释器框架中实现递归来解决学习程序时神经网络泛化能力和推理能力不足的问题，证明该方法在少量训练数据的情况下具有更好的泛化性和可解释性，体验表明为了让神经网络更好的学习程序语义，需要像递归这样的概念。

    Apr, 2017

  • 学习 Transformer 程序

    本文介绍的一种采用编程语言设计的可调试 Transformer 程序可以替代机器学习传统编写的 Transformers 来解决一系列算法问题和 NLP 任务。

    Jun, 2023

  • 因果转换器在递归嵌套结构上表现低于随机，不如人类

    研究发现，当处理嵌套构造中存在长距离嵌入依赖时，尽管 Transformer 语言模型在处理短距离嵌入依赖时表现接近完美，但表现却远低于机会水平，这揭示了 Transformers 在结构化的递归处理中的缺陷。

    Oct, 2021

  • 一个关于训练于符号多步推理任务的 Transformer 的机制分析

    通过对合成推理任务进行综合机械分析，我们鉴定了一组可解释的机制，这个模型用来解决任务，并使用相关和因果证据验证了我们的发现。我们的结果表明，它实现了一组深度有限的并行循环机制，并将中间结果存储在选择的令牌位置，我们期望我们在合成环境中鉴定的这些模式可以为理解变压器的更广泛操作原理提供有价值的见解。

    Feb, 2024

  • 基于结构化任务训练的 Transformer 模型的系统泛化和涌现结构

    该文探讨了怎样使用 Transformer 网络在算法任务中表现良好，展示了多层 transformer 网络在任务分解中的可靠性解决方案，以及所有相关任务中的共享计算的利用。

    Oct, 2022

  • 超越 Transformers 的函数学习

    本研究通过向 Transformer 架构添加两种归纳学习偏差来探究个体的外推能力，结果表明，这些偏差对大型神经网络模型有帮助，也揭示了人类的归纳性学习偏差的类型。

    Apr, 2023

  • 使用 Transformers 进行数学推理系统评估的符号框架

    使用数据生成方法和符号代数，对变换器编码器的数学推理和泛化进行了 200,000 个例子的超大规模实验，并回答了变换器是否可以学习应用符号规则并推广到超出分布范围的例子。结果表明，扰动严重影响性能，并且可以将 F1 分数降至低于 17％，这表明推理主要由与数学运算的深层理解无关的表层模式所支配。

    May, 2023

  • 递归神经张量网络能否学习逻辑推理？

    该研究使用构造的逻辑推理短句的语料库训练了一种递归模型，其使用的递归神经网络模型和相应的词向量表示已在各种越来越语义复杂的任务中实现成功，但几乎不知道它们是否能准确捕捉必要的语言意义方面。该模型学习到的表示形式在所有但少数情况下都很好地推广到新的推理模式，这一结果为掌握逻辑推理和学习表示模型的能力提供了希望。

    Dec, 2013

  • 像 Transformer 一样思考

    本文提出了一种计算模型，将 Transformer-encoder 的基本组件 attention 和 feed-forward 计算映射到简单的原语中，并形成一种编程语言 RASP，用于编程解决可能由 Transformer 学习的任务，并演示了如何训练 Transformer 模仿 RASP 解决方案，并且利用该模型分析了所需图层和注意头数。

    Jun, 2021