Feb, 2024

关于一种变体 Looped Transformer 的表达能力

PDF
TL;DR通过引入 Algorithm Transformer（AlgoFormer）的设计，我们增强了 transformers 的算法表示能力，并且实验证明了 AlgoFormer 在某些具有挑战性的任务上优于标准 transformer 和 vanilla looped transformer。
transformersalgoformerexpressive poweralgorithm representationempirical superiority
发现论文，激发创造
  • 循环变压器在学习学习算法方面更好

    提出了一种使用循环变压器架构和相关训练方法的方法，旨在将迭代特性纳入变压器架构中，实现与标准变压器相媲美的性能，在解决各种数据拟合问题时使用少于 10％的参数数量。

    Nov, 2023

  • 可编程计算机的环形变压器

    本文提出了一种使用 transformer 网络作为通用计算机的框架，演示了一种将迭代算法映射为循环可执行程序的方法，并展示了注意力机制的多种用途。

    Jan, 2023

  • 循环变压器仿真图算法

    我们研究了使用转换器网络在图上模拟算法的能力，并证明了该架构可以模拟 Dijkstra 最短路径算法、广度优先搜索、深度优先搜索和 Kosaraju 强连通分量算法，并展示了在有限精度下模拟的限制问题，最后证明了在额外的注意力头部利用时具有恒定宽度的图灵完备性结果。

    Feb, 2024

  • 线性变换器是多功能的上下文学习器

    线性 Transformer 能隐式地执行梯度下降算法和找到优化策略。

    Feb, 2024

  • 高效 Transformer：综述

    本研究总结了多个领域的最新端到端基于 Transformer 模型的 X-former 模型，强调了计算和内存效率

    Sep, 2020

  • Transformer 在思维链条中的表达能力

    研究表明，通过允许 transformer 在回答问题之前生成和依赖于中间令牌的序列，可以提高其推理能力，增加中间生成的数量将显著扩展 transformer 解码器的计算能力，进而使其能够识别所有正则语言，保持上下文敏感语言，并解决多项式时间可解问题。

    Oct, 2023

  • 使用 Transformer 进行计数和算法推广

    机器学习中的算法泛化是指以一种能够概括超出数据分布的方式学习生成数据的底层算法。在本研究中，我们分析了在涉及计数时，不论是隐式还是显式所需的算法泛化。我们展示了标准 Transformer 模型基于的架构决策阻碍了此类任务的超出分布性能。特别是，我们讨论了使用层归一化和通过 softmax 归一化注意力权重的后果。通过消融引起问题的操作，我们证明通过使用非常轻量级的架构，修改后的 Transformer 能够表现出良好的计数算法泛化性能。

    Oct, 2023

  • Brainformers: 简单性与效率的平衡

    本文介绍了一种名为 Brainformer 的复合深度神经网络模型，其中包括稀疏门控前馈层、紧密前馈层、自注意层以及不同形式的层规范化和激活函数。 Brainformer 模型表现优异且更为高效，比当前最先进的密集和稀疏的 Transformers 模型快 5 倍。在下游任务评估中，Brainformer 模型与 GLaM 模型相比，细调后 SuperGLUE 得分高出 3％。

    May, 2023

  • Transformer 对于回归问题是否表达能力足够？

    Transformers 在自然语言处理中变得至关重要，在机器翻译和摘要等应用中取得了显著成功。然而，与现有观点相反，本研究发现 Transformers 在可靠地逼近连续函数方面存在困难，依赖于具有较大区间的分段常数逼近。通过理论分析和实验证据，我们全面调查了这一问题并揭示了 Transformers 的限制根源，凸显了对其能力的精确理解的重要性。

    Feb, 2024

  • Transformer 架构所需的量子线性代数

    生成式机器学习方法如大型语言模型正在革新文本和图像的创作。本研究通过容错性量子计算的视角来调查变压器架构。通过将预训练的权重矩阵作为区块编码来构建变压器的查询、关键和值矩阵。我们展示了如何使用 Hadamard 乘积对自注意矩阵的行逐行应用 softmax 函数来准备区块编码。此外，我们结合了量子子程序来构建变压器中的重要构件，包括残余连接、层归一化和前馈神经网络。我们的子程序准备了变压器输出的振幅编码，可以进行测量以获得预测结果。我们讨论了获取量子优势的潜力和挑战。

    Feb, 2024