稀疏 VQ Transformer：一种无 FFN 框架，通过向量量化提升时间序列预测

Feb, 2024

稀疏 VQ Transformer：一种无 FFN 框架，通过向量量化提升时间序列预测

Sparse-VQ Transformer: An FFN-Free Framework with Vector Quantization for Enhanced Time Series Forecasting

Yanjun Zhao, Tian Zhou, Chao Chen, Liang Sun, Yi Qian...

TL;DR稀疏量化后的无前馈层变压器（Sparse-VQ）用于时间序列分析与预测，成功地减少了噪声的影响并提高了计算效率，通过与现有的变压器模型进行集成，进一步提升了性能。

Abstract

time series analysis is vital for numerous applications, and transformers have become increasingly prominent in this domain. Leading methods customize the transformer architecture from NLP and CV, utilizing a pat

time series analysis transformers sparse vector quantized ffn-free transformer forecasting computational efficiency

发现论文，激发创造

SVQ: 稀疏向量量化用于时空预测

通过开发稀疏量化方法，我们的研究在多个领域中不断提升了基准模型的性能，实现了最先进的结果。

Dec, 2023

具有双向先验模型的矢量量化时间序列生成

提出了一种名为 TimeVQVAE 的新模型，它使用矢量量化技术解决时间序列生成（TSG）问题，通过在时频域中分离出低频和高频来保留时间序列的重要特征，并使用双向转换模型学习离散潜在空间的先验知识，使其具有更好的全局时间一致性和更好的质量。

Mar, 2023

Transformer-VQ: 基于向量量化的线性时间 Transformer

Transformer-VQ 是一种仅有解码器的 Transformer 模型，通过向量量化的键和新颖的缓存机制实现了线性时间内的高效 softmax 密集自注意力计算。在大规模实验中，Transformer-VQ 在质量方面表现出强大的竞争力，在 Enwik8（0.99 bpb）、PG-19（26.6 ppl）和 ImageNet64（3.16 bpb）上取得了优秀的结果。

Sep, 2023

稀疏二进制变换器用于多元时间序列建模

通过应用稀疏和二元权重变换器在多变量时间序列问题上，我们表明轻量级模型能够获得与相同结构的稠密浮点变换器相当的准确性。我们的模型在分类、异常检测和单步预测三个时间序列学习任务上取得了良好的结果，并应用了两种修改以减少注意力机制的计算复杂度，从而大大减少变换器中非零操作的数量。我们在参数数量、存储大小和浮点运算量（FLOPs）等多个度量标准上测量了我们的方法的计算节约，并展示了高达 53 倍的存储大小减少和高达 10.5 倍的 FLOPs 减少。

Aug, 2023

FPTN：用于交通流量预测的快速纯 Transformer 网络

本文研究通过提出一种快速的 Transformer 网络来预测交通流量，该网络能够准确地捕捉交通数据中的复杂时空依赖关系，同时大大降低了计算时间和计算资源的要求。

Mar, 2023

VQ-GNN：一种使用矢量量化扩大图神经网络的通用框架

文章提出了一种新的基于向量量化技术的通用框架 VQ-GNN，为了解决图神经网络中的邻居爆炸问题和扩展性问题，该方法可以有效地保留所有传递给 mini-batch 的节点的信息，同时使用小量的量化参考向量和低秩图卷积矩阵进行图嵌入，同时该框架还设计了一种新的基于近似算法的信息传递算法和反向传播规则来优化模型性能，在节点分类和链接预测基准测试中表现出了可伸缩性和竞争力。

Oct, 2021

FrameQuant: 柔性低位量化技术用于变换器

通过引入从谐波分析中借用的融合框架的概念，我们提出了一种简化方案来将基于 Transformer 的模型量化为仅使用两位（加一些开销），并只在准确性上稍有降低，通过实验证明，此方案对 Transformer 模型的量化几乎可以实现显著的效率提升。

Mar, 2024

使用图网络和新型 Transformer 架构进行时空风速预测

本研究使用图神经网络和不同的 Transformer 架构，探讨风速预测的时空依赖性，提出了 Fast Fourier Transformer 和 Autoformer 架构，使用这些架构的模型在时空预测上的表现优于其他模型。

Aug, 2022

VQ-AR: 向量量化自回归概率时间序列预测

该论文介绍了一种新颖的自回归模型 VQ-AR，使用离散表示来预测未来，并在多个时间序列数据集上展示了其能够取得先进的性能。

May, 2022

改进 VQGAN 的向量量化图像建模

使用预训练 Transformers 模型，结合 VQGAN 模型实现离散图像向量量化，进一步提高了图像生成和无监督表示学习的效率和准确性。同时，该模型还在 ImageNet 数据集上的线性探针准确性方面的表现优于同等规模的 Image GPT-L 和 Image GPT-XL 模型。

Oct, 2021