Jun, 2021

使用循环快速权重编程器超越线性变压器

PDF
TL;DR通过在快速和慢速神经网络中加入循环来探索新的变化形式，提出一种新颖的循环快速权重编程模型（RFWPs），并在两个合成算法任务，语言模型和 Atari 2600 2D 游戏环境中评估了模型的效果。
linear transformersfast weight programmersrecurrent fwpslanguage modelsatari games
发现论文，激发创造
  • 线性变压器及其递归和自指扩展的实际计算能力

    通过研究具有线性化注意力的自回归 Transformer，即线性 Transformer（LT）或快速权重编程器（FWP），我们发现许多应用于标准 Transformer 的知名结果可以直接转移到 LTs / FWPs，并证明了最近提出的 FWP 扩展成功地克服了 LT 的某些限制，如在奇偶性问题上的泛化。

    Oct, 2023

  • 线性变换器秘密是快速权重编程器

    本研究发现线性化自注意力机制与 90 年代早期的快速权重控制器存在正式等价，提出了一种基于增量规则编程指令的快速权重编程器，用以克服近期线性化 softmax 注意力变体的存储容量限制，以及提高动态学习率的计算效率，在合成检索问题以及标准机器翻译和语言模型任务上均获得明显优势。

    Feb, 2021

  • 学习使用快速权重编程变分量子电路

    引入量子快速权重程序 (QFWP) 作为解决时间或序列学习挑战的方法。

    Feb, 2024

  • RWKV：为 Transformer 时代重新设计 RNN

    本文提出了一种名为 Receptance Weighted Key Value（RWKV）的新型模型体系结构，它将 Transformer 的并行训练与 RNN 的高效推理相结合，并利用了线性注意机制，使模型既可以被阐释为 Transformer，也可以被阐释为 RNN，从而在训练期间并行计算，并在推理期间保持计算和记忆的复杂度恒定，从而成为第一个可扩展到数十亿参数的非 Transformer 架构，实验表明，RWKV 的表现与同样大小的 Transformer 相当，在序列处理任务中为权衡计算效率和模型性能迈出了重要的一步。

    May, 2023

  • 将预训练的 Transformers 微调为 RNN

    本研究旨在将预训练 Transformer 转换为其高效循环对应物，在维持准确性的同时提高效率，并提出一种交换再微调的流程。

    Mar, 2021

  • 神经功能变换器

    本文使用注意力机制定义了一组新颖的置换等变的权值空间层，并将它们组合成深度等变模型，称为神经功能变压器 (NFTs)，并利用 NFTs 开发了 Inr2Array，一种从隐式神经表示的权重中计算置换不变潜在表示的新方法。

    May, 2023

  • 元学习快速权重语言模型

    本研究提出了一种称为 Fast Weight Layers (FWLs) 的神经组件，通过将梯度更新表示为线性注意力，以更高效的方式提供动态评估的好处。FWLs 可以在训练时应用于模型，因此模型可以学习如何充分利用梯度更新。FWLs 可以轻松地叠加在现有的 Transformer 模型之上，在运行时需要相对较少的额外计算或内存，可以显著提高语言建模的困惑度。

    Dec, 2022

  • 快慢递归神经网络

    提出了一种新的循环神经网络 Fast-Slow RNN，可以在不同的时间尺度上处理序列数据，并学习复杂的传递函数，实现了字符级语言建模数据集上的最佳效果。

    May, 2017

  • 基于突触学习规则的图像生成：将图像作为权重矩阵

    应用快速权重编程的学习规则以生成自然图像，能够可视化突触学习规则是如何迭代地产生复杂的连接模式，进而产生人类可识别的有意义的图像。

    Oct, 2022

  • 快速前馈网络

    我们介绍了快速前馈（FFF）架构，它打破了层大小与推理成本之间的线性关系，通过引入对数时间的前馈网络的替代方案。我们展示了 FFF 在推理成本的指数分数上表现出与前馈网络相当的性能，与专家混合网络相比更快地提供性能，并且可以在 transformers 中取代它们。将 FFF 推到极限，我们训练了一个视觉 transformer，在只有 5.8% 性能下降的成本下执行单神经元推理。我们的实现可作为 Python 包使用，只需运行 “pip install fastfeedforward” 即可。

    Aug, 2023