Feb, 2024

具有实时循环学习和最大相关熵准则的四元数递归神经网络

PDF
TL;DR我们开发了一个强大的四元数循环神经网络（QRNN），用于实时处理具有异常值的三维和四维数据。这通过将实时递归学习（RTRL）算法与最大相关性准则（MCC）作为损失函数相结合来实现。通过基于广义 HR（GHR）微积分推导出这两种算法，GHR 微积分允许对四元数变量的实函数求导，并提供乘积和链式法则，从而实现了优雅而紧凑的推导。通过在肺癌放疗中对胸部内部标记物的运动预测进行模拟实验，包括常规和不规则的呼吸序列，支持了分析的结论。
quaternion recurrent neural networkreal-time processingoutliersmaximum correntropy criterionmotion prediction
发现论文，激发创造
  • 四元数循环神经网络

    研究提出了一种用四元数代替实数的递归神经网络来处理多维特征，从而更好地模拟长期依赖，并在语音识别应用中表现出更好的性能和更紧凑的表示方式。

    Jun, 2018

  • 四元数卷积神经网络用于端到端自动语音识别

    该研究论文介绍了一种新的方法，使用四元数代替传统的时间帧维度元素作为输入特征来训练基于 QCNN 和 CTC 模型进行序列到序列映射的语音识别系统，实验结果表明，相较于基于传统卷积神经网络的竞争模型，该方法具有更高的准确率且参数更少。

    Jun, 2018

  • 3D 旋转等变性四元数神经网络

    本文提出了一组规则，将各种神经网络修改为旋转等变四元数神经网络（REQNN），以处理 3D 点云。 REQNN 确保中间层特征对输入点的排列具有不变性，并表现出更高的旋转鲁棒性。

    Nov, 2019

  • 量子循环神经网络的密度矩阵仿真在多元时间序列预测中的应用

    借助密度矩阵形式主义，设计了一种特定的模拟方法，以探索 Quantum Recurrent Neural Networks（QRNNs）的潜力，并且能够通过捕捉不同复杂性的输入序列的非平凡模式，准确预测未来的值。

    Oct, 2023

  • 递归量子神经网络

    通过构建一个由参数化的量子神经元组成的量子循环神经网络（QRNN），将量子计算与循环神经网络相结合，并通过序列学习和整数数字分类等任务进行了演示性能证明。

    Jun, 2020

  • 基于四元数值神经网络和四元数反向传播的时序压缩

    我们提出了一种新颖的四元数时间序列压缩方法，将长时间序列分割成数据段，并提取这些块的最小值、最大值、均值和标准差作为代表性特征，封装在四元数中，形成一个四元数值时间序列。通过使用 Hamilton 乘积来处理这个时间序列的四元数值神经网络层，我们旨在保留这些特征之间的关系。为了训练这个四元数神经网络，我们使用了 GHR 微积分来推导四元数反向传播，这对于四元数空间中的有效乘积和链式法则是必需的。此外，我们还研究了推导出的更新规则与自动微分之间的联系。我们在 Tennessee Eastman 数据集上应用我们提出的压缩方法，并在两个设置中使用压缩数据进行故障分类：一个在完全监督的设置下，一个在半监督的对比学习设置下。两次实验中，我们都能够超越实值对照模型以及两个基准模型：一个将未压缩的时间序列作为输入，另一个则使用均值进行常规下采样。此外，我们还能将 SimCLR-TS 的分类基准从 81.43% 提高到 83.90%。

    Mar, 2024

  • 实时递归学习的最优 Kronecker-Sum 逼近

    研究 RNN 的训练方法，提出新的 RTRL 逼近算法 OK-Kronecker-Sum 并证明其优秀性能，经实验验证 OK- Kronecker-Sum 能够在真实世界任务中匹配 TBPTT，在合成字符串记忆任务中优于 TBPTTs。

    Feb, 2019

  • 量化近似正交递归神经网络

    针对计算能力有限的设备，本文研究了正交循环神经网络（ORNNs）的量化问题，并提出了通过后训练量化和量化感知训练方法来实现量化正交 RNNs（QORNNs），实验结果表明量化感知训练比后训练量化更有效，最高效的模型在各种标准测试中达到与精确度 ORNN 和 LSTM 相似的结果，即使使用了 3 位量化。

    Feb, 2024

  • 四元数卷积神经网络用于异构图像处理

    本文研究基于多元代数的四元数卷积神经网络在彩色图像重建任务上的成功原因，发现其可以更好地学习内部和外部关系以及更少的参数数量与灰度训练的情况下，在重建未看到的彩色图像上表现较好。

    Oct, 2018

  • 四元数卷积神经网络

    通过使用四元数矩阵表示，我们提出了一个四元数卷积神经网络（QCNN）模型来在彩色图像分类和去噪任务中得到更具代表性的特征，并测试结果表明该模型优于具有相同结构的实值卷积神经网络。

    Mar, 2019