Apr, 2024

鹰与雀：基于矩阵值状态和动态循环的 RWKV

PDF
TL;DR我们介绍了 Eagle（RWKV-5）和 Finch（RWKV-6）这两种序列模型，它们在 RWKV（RWKV-4）架构上有所改进。我们的架构设计包括多头矩阵值状态和一种动态循环机制，提高了表达能力，同时保持了 RNN 的推理效率特性。
eaglefinchrwkv-5rwkv-6architectural design advancements
发现论文，激发创造
  • Griffin：将门控线性循环与局部注意力相融合的高效语言模型

    基于门控线性递归的 Hawk 和将门控线性递归与局部注意力相结合的混合模型 Griffin 在效率方面超过了 Mamba 和 Llama-2，在训练和推理阶段都具有更高的硬件效率，并且可以有效地进行分布式训练。

    Feb, 2024

  • RWKV：为 Transformer 时代重新设计 RNN

    本文提出了一种名为 Receptance Weighted Key Value（RWKV）的新型模型体系结构，它将 Transformer 的并行训练与 RNN 的高效推理相结合，并利用了线性注意机制，使模型既可以被阐释为 Transformer，也可以被阐释为 RNN，从而在训练期间并行计算，并在推理期间保持计算和记忆的复杂度恒定，从而成为第一个可扩展到数十亿参数的非 Transformer 架构，实验表明，RWKV 的表现与同样大小的 Transformer 相当，在序列处理任务中为权衡计算效率和模型性能迈出了重要的一步。

    May, 2023

  • VisualRWKV：探索用于视觉语言模型的递归神经网络

    通过引入一种线性循环神经网络模型到多模态学习任务中，该研究提出了 VisualRWKV，它是首个应用线性 RNN 模型到视觉语言模型中的尝试，并通过数据相关的循环和提示增强建模能力，以及 2D 图像扫描机制来丰富对视觉序列的处理，实验证明 VisualRWKV 在各项基准测试中与基于 Transformer 的模型（如 LLaVA-1.5）相比具有竞争性能。

    Jun, 2024

  • PointRWKV：高效的 Hierarchical Point Cloud Learning 模型

    PointRWKV 是一种基于 RWKV 模型的线性复杂度模型，用于点云学习任务，通过全局处理和并行分支编码有效提取点云的几何特征，具有多尺度特征学习能力，在各种点云学习任务中表现出色且节约计算资源。

    May, 2024

  • HGRN2：具有状态扩展的门控线性循环神经网络

    HGRN2 通过引入基于外积的状态扩展机制，在不引入额外参数的情况下，显著增加了循环状态大小，提高了语言建模、图像分类和长距离竞技场方面的性能。

    Apr, 2024

  • RWKV-TS：超越传统循环神经网络的时间序列任务

    传统的循环神经网络在时间序列任务中曾占据主导地位，但最近在各个时间序列任务中逐渐衰退，因此我们设计了一种高效的基于循环神经网络的时间序列任务模型 RWKV-TS，该模型具有三个独特特点：（一）$O (L)$ 时间复杂度和内存使用的新型循环神经网络架构；（二）相较于传统循环神经网络更好地捕捉长期序列信息的能力；（三）具有高计算效率和有效规模扩展性的特点。通过大量实验，我们的 RWKV-TS 模型与最先进的基于 Transformer 或卷积神经网络模型相比具备竞争力的性能表现，特别值得注意的是 RWKV-TS 不仅性能可比，而且具有较低的延迟和内存使用。RWKV-TS 的成功鼓励了在时间序列领域中进一步探索和创新，其具备竞争性能、低延迟和高效内存使用的特点使其成为未来时间序列任务研究的有希望方向。

    Jan, 2024

  • 递归 Gemma：超越变压器实现高效的开放式语言模型

    我们介绍了一个开放的语言模型，使用了谷歌的全新的 Griffin 架构。Griffin 结合了线性递归和局部注意力，在语言方面有出色的表现。它具有固定大小的状态，可减少内存使用并在长序列上实现高效的推理。我们提供了一个已经预训练的模型，其中包含 2B 个非嵌入参数，还有经过调整的指令变种。尽管这两个模型的训练标记较少，但它们都实现了与 Gemma-2B 相当的性能。

    Apr, 2024

  • 快慢递归神经网络

    提出了一种新的循环神经网络 Fast-Slow RNN，可以在不同的时间尺度上处理序列数据，并学习复杂的传递函数，实现了字符级语言建模数据集上的最佳效果。

    May, 2017

  • RRWKV: 捕捉 RWKV 中的长程依赖

    本文提出了回顾性接收加权键值（RRWKV）架构，通过将回顾能力融入到 RWKV 中，有效地吸收信息，同时保持存储和计算效率，从而解决了 RWKV 架构的局限性，能够更好地捕捉长程依赖。

    Jun, 2023

  • 使用循环快速权重编程器超越线性变压器

    通过在快速和慢速神经网络中加入循环来探索新的变化形式，提出一种新颖的循环快速权重编程模型（RFWPs），并在两个合成算法任务，语言模型和 Atari 2600 2D 游戏环境中评估了模型的效果。

    Jun, 2021