基于四元数值神经网络和四元数反向传播的时序压缩

Mar, 2024

基于四元数值神经网络和四元数反向传播的时序压缩

Time Series Compression using Quaternion Valued Neural Networks and Quaternion Backpropagation

Johannes Pöppelbaum, Andreas Schwung

TL;DR我们提出了一种新颖的四元数时间序列压缩方法，将长时间序列分割成数据段，并提取这些块的最小值、最大值、均值和标准差作为代表性特征，封装在四元数中，形成一个四元数值时间序列。通过使用 Hamilton 乘积来处理这个时间序列的四元数值神经网络层，我们旨在保留这些特征之间的关系。为了训练这个四元数神经网络，我们使用了 GHR 微积分来推导四元数反向传播，这对于四元数空间中的有效乘积和链式法则是必需的。此外，我们还研究了推导出的更新规则与自动微分之间的联系。我们在 Tennessee Eastman 数据集上应用我们提出的压缩方法，并在两个设置中使用压缩数据进行故障分类：一个在完全监督的设置下，一个在半监督的对比学习设置下。两次实验中，我们都能够超越实值对照模型以及两个基准模型：一个将未压缩的时间序列作为输入，另一个则使用均值进行常规下采样。此外，我们还能将 SimCLR-TS 的分类基准从 81.43% 提高到 83.90%。

Abstract

We propose a novel quaternionic time-series compression methodology where we divide a long time-series into segments of data, extract the min, max, mean and standard deviation of these chunks as representative features and encapsulate them in a quaternion, yielding a quaternion valued

quaternionic time-series compression neural network hamilton product quaternion backpropagation tennessee eastman dataset

发现论文，激发创造

四元数卷积神经网络用于端到端自动语音识别

该研究论文介绍了一种新的方法，使用四元数代替传统的时间帧维度元素作为输入特征来训练基于 QCNN 和 CTC 模型进行序列到序列映射的语音识别系统，实验结果表明，相较于基于传统卷积神经网络的竞争模型，该方法具有更高的准确率且参数更少。

Jun, 2018

具有双向先验模型的矢量量化时间序列生成

提出了一种名为 TimeVQVAE 的新模型，它使用矢量量化技术解决时间序列生成（TSG）问题，通过在时频域中分离出低频和高频来保留时间序列的重要特征，并使用双向转换模型学习离散潜在空间的先验知识，使其具有更好的全局时间一致性和更好的质量。

Mar, 2023

四元数图神经网络

本研究提出四元数图神经网络（QGNN）并将其应用于图分类和节点分类等领域，同时在知识图谱完成任务中取得了最优结果。

Aug, 2020

四元数循环神经网络

研究提出了一种用四元数代替实数的递归神经网络来处理多维特征，从而更好地模拟长期依赖，并在语音识别应用中表现出更好的性能和更紧凑的表示方式。

Jun, 2018

具有实时循环学习和最大相关熵准则的四元数递归神经网络

我们开发了一个强大的四元数循环神经网络（QRNN），用于实时处理具有异常值的三维和四维数据。这通过将实时递归学习（RTRL）算法与最大相关性准则（MCC）作为损失函数相结合来实现。通过基于广义 HR（GHR）微积分推导出这两种算法，GHR 微积分允许对四元数变量的实函数求导，并提供乘积和链式法则，从而实现了优雅而紧凑的推导。通过在肺癌放疗中对胸部内部标记物的运动预测进行模拟实验，包括常规和不规则的呼吸序列，支持了分析的结论。

Feb, 2024

3D 旋转等变性四元数神经网络

本文提出了一组规则，将各种神经网络修改为旋转等变四元数神经网络（REQNN），以处理 3D 点云。 REQNN 确保中间层特征对输入点的排列具有不变性，并表现出更高的旋转鲁棒性。

Nov, 2019

旋转不变量量化用于模型压缩

通过提出 RIQ 技术，我们证明了其在压缩神经网络模型方面的最优性，并在各种模型和任务上证明了其优异性能，包括在预训练的 VGG dense 和 pruned 模型上能导致高达 x52.9 的压缩比。

Mar, 2023

深度四元数网络

本文介绍了如何使用四元数构建深度网络，通过在 CIFAR-10 和 CIFAR-100 数据集上进行端到端训练以及在 KITTI Road Segmentation 数据集上进行端到端训练，我们证明了四元数网络比实数网络和复数网络具有更好的收敛性能，在分割任务中表现尤为突出。

Dec, 2017

GPTVQ: LLM 量化的维度福祉

在这项研究中，我们展示了通过增加量化维度可以显著改善神经网络量化的大小和准确性之间的权衡。我们提出了 GPTVQ 方法，一种新的快速方法，用于对大型语言模型（LLMs）进行训练后的向量量化（VQ），并在多列的量化和未量化权重更新之间交错使用每层输出重建 MSE 的 Hessian 信息。通过使用数据感知的 EM 算法的高效版本初始化码本，然后使用整数量化和基于 SVD 的压缩来进行进一步压缩。GPTVQ 在诸如 Llama-v2 和 Mistral 之类的各种 LLMs 上建立了新的最先进的大小与准确性权衡状态。此外，我们的方法高效：在单个 H100 上处理 Llamav2-70B 模型需要 3 到 11 个小时，具体取决于量化设置。最后，通过对移动 CPU 上的 VQ 解压缩进行设备上的计时，我们显示 VQ 相比于使用 4 位整数格式可以提供改进的延迟。

Feb, 2024

通过深度序列学习模型模拟三维各向同性湍流的时空实现

本文使用数据驱动的方法，应用前沿的深度学习技术模拟三维湍流，考虑流体的物理约束，并使用向量量化自编码器等方法降低数据维度，应用 Transformer 网络预测流体运动趋势，所得结果优于其他网络，但不能完美还原小幅动态。

Dec, 2021