Jan, 2024

RWKV-TS：超越传统循环神经网络的时间序列任务

PDF
TL;DR传统的循环神经网络在时间序列任务中曾占据主导地位，但最近在各个时间序列任务中逐渐衰退，因此我们设计了一种高效的基于循环神经网络的时间序列任务模型 RWKV-TS，该模型具有三个独特特点：（一）$O (L)$ 时间复杂度和内存使用的新型循环神经网络架构；（二）相较于传统循环神经网络更好地捕捉长期序列信息的能力；（三）具有高计算效率和有效规模扩展性的特点。通过大量实验，我们的 RWKV-TS 模型与最先进的基于 Transformer 或卷积神经网络模型相比具备竞争力的性能表现，特别值得注意的是 RWKV-TS 不仅性能可比，而且具有较低的延迟和内存使用。RWKV-TS 的成功鼓励了在时间序列领域中进一步探索和创新，其具备竞争性能、低延迟和高效内存使用的特点使其成为未来时间序列任务研究的有希望方向。
发现论文，激发创造
  • RWKV：为 Transformer 时代重新设计 RNN

    本文提出了一种名为 Receptance Weighted Key Value（RWKV）的新型模型体系结构，它将 Transformer 的并行训练与 RNN 的高效推理相结合，并利用了线性注意机制，使模型既可以被阐释为 Transformer，也可以被阐释为 RNN，从而在训练期间并行计算，并在推理期间保持计算和记忆的复杂度恒定，从而成为第一个可扩展到数十亿参数的非 Transformer 架构，实验表明，RWKV 的表现与同样大小的 Transformer 相当，在序列处理任务中为权衡计算效率和模型性能迈出了重要的一步。

    May, 2023

  • TKAN: 时间 Kolmogorov-Arnold 网络

    基于 Kolmogorov-Arnold Networks (KANs) 和 Long Short-Term Memory (LSTM) 的启发，我们提出了一种新的神经网络架构，Temporal Kolomogorov-Arnold Networks (TKANs)，通过整合两种网络，TKANs 在具备记忆管理的 Recurring Kolmogorov-Arnold Networks (RKANs) 层中实现了多步时间序列预测，并提供了对复杂序列模式处理的改进，为超前预测领域的进展提供了显著潜力。

    May, 2024

  • RRWKV: 捕捉 RWKV 中的长程依赖

    本文提出了回顾性接收加权键值（RRWKV）架构，通过将回顾能力融入到 RWKV 中，有效地吸收信息，同时保持存储和计算效率，从而解决了 RWKV 架构的局限性，能够更好地捕捉长程依赖。

    Jun, 2023

  • 基于记忆网络的多元时间序列预测解决方案

    提出了一种名为基于记忆的时序网络的深度学习模型，具有较强的可解释性，旨在解决传统方法无法捕捉复杂模式或在多重变量中融合信息的问题。

    Sep, 2018

  • 用 Transformer 网络探测水文预测的极限

    本文研究发现，普通 Transformer 结构在水文建模方面的性能不如 LSTM 结构；去除循环结构的变体可以与 LSTM 相媲美，但是与当前最先进技术相比性能并不突出。

    Jun, 2023

  • Diffusion-RWKV：为扩展扩散模型的 RWKV-Like 架构

    该论文介绍了一种在图像生成任务中应用于扩散模型的一系列基于 NLP 中 RWKV 模型的架构，通过针对性的修改，使其能在高分辨率图像生成任务中高效处理，减少计算复杂度。在条件和无条件图像生成任务上的实验结果表明，Diffusion-RWKV 在 FID 和 IS 指标上达到或超过现有的 CNN 或基于 Transformer 的扩散模型的性能，同时显著减少总计算 FLOP 使用。

    Apr, 2024

  • CRU：一种新的神经架构，用于提高时间序列数据预测性能

    本研究提出了一种名为相关递归单元（CRU）的新型神经架构，可以在神经元内执行时间序列分解并学习每个分解组件之间的自相关和相关性，实验结果表明，相比其他神经架构，所提出的 CRU 是解决时间序列预测问题的一种优秀方法，可将长期和短期的预测精度提高 10％以上。

    Nov, 2022

  • Transformer 可解释性转移到 RNN 中吗？

    最近在递归神经网络（RNN）架构方面取得的进展，例如 Mamba 和 RWKV，使得 RNN 在语言建模困惑度和下游评估方面与同等规模的变压器相匹配或超过，这表明未来的系统可能会建立在全新的架构之上。本文研究了最初设计用于变压器语言模型的选定可解释性方法是否适用于这些新兴的递归神经网络架构。具体来说，我们专注于通过对比激活添加来控制模型输出，使用调整后的镜头引发潜在预测，并从针对特定条件下生成错误输出的模型中获取潜在知识。我们的结果表明，当应用于 RNN 时，这些技术大多是有效的，并且我们还展示了通过利用 RNN 的压缩状态，可以改善其中一些技术。

    Apr, 2024

  • 机械式 RNN

    本文介绍了简单而强大的时钟 RNN 的修改方法，该方法将隐藏层分成单独的模块，在其自己的时间粒度上处理输入，并且在测试的任务中改善了性能，速度快于标准的 RNN 模型，优于 RNN 和 LSTM 网络，出色地完成了声音信号生成和 TIMIT 口语识别任务。

    Feb, 2014

  • 使用张量列压缩循环神经网络

    本文提出了使用 Tensor Train 格式来表示循环神经网络参数，从而显著降低参数数量的替代型循环神经网络，对比未压缩的循环神经网络在序列分类和序列预测中的表现，结果显示其性能不降反升，同时减小了 40 倍的参数数量。

    May, 2017