ICLRJun, 2018

四元数循环神经网络

PDF
TL;DR研究提出了一种用四元数代替实数的递归神经网络来处理多维特征，从而更好地模拟长期依赖，并在语音识别应用中表现出更好的性能和更紧凑的表示方式。
recurrent neural networksquaternion algebraautomatic speech recognitionlong-term dependenciesmultidimensional features
发现论文，激发创造
  • 准循环神经网络

    本文介绍了一种新型的神经序列建模方法 - 准循环神经网络（QRNNs），通过卷积层与最小化的循环池化函数的交替使用，QRNNs 可以在高度并行的情况下完成对序列数据的建模，并且在语言建模、情感分类和字符级神经机器翻译等任务中显示出比基于 LSTM 的架构更优异的性能。

    Nov, 2016

  • 四元数卷积神经网络用于端到端自动语音识别

    该研究论文介绍了一种新的方法，使用四元数代替传统的时间帧维度元素作为输入特征来训练基于 QCNN 和 CTC 模型进行序列到序列映射的语音识别系统，实验结果表明，相较于基于传统卷积神经网络的竞争模型，该方法具有更高的准确率且参数更少。

    Jun, 2018

  • 递归量子神经网络

    通过构建一个由参数化的量子神经元组成的量子循环神经网络（QRNN），将量子计算与循环神经网络相结合，并通过序列学习和整数数字分类等任务进行了演示性能证明。

    Jun, 2020

  • 具有实时循环学习和最大相关熵准则的四元数递归神经网络

    我们开发了一个强大的四元数循环神经网络（QRNN），用于实时处理具有异常值的三维和四维数据。这通过将实时递归学习（RTRL）算法与最大相关性准则（MCC）作为损失函数相结合来实现。通过基于广义 HR（GHR）微积分推导出这两种算法，GHR 微积分允许对四元数变量的实函数求导，并提供乘积和链式法则，从而实现了优雅而紧凑的推导。通过在肺癌放疗中对胸部内部标记物的运动预测进行模拟实验，包括常规和不规则的呼吸序列，支持了分析的结论。

    Feb, 2024

  • 循环神经网络在序列学习中的关键评估

    本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

    May, 2015

  • 循环神经网络的有效量化方法

    本文提出了一种有效的量化方法，可用于将循环神经网络（包括 LSTM，GRU 和 ConvLSTM）部署在 FPGA 和移动平台上，同时在 IMDB 情感分析和移动 MNIST 视频帧预测等数据集上取得了有希望的成果。

    Feb, 2018

  • 基于四元数网络的轻量级高效神经自然语言处理

    本文针对自然语言处理（NLP）任务，提出了一系列轻量级和内存高效的神经网络模型，利用四元数代数和超复数空间进行计算，在不影响性能的情况下减少了模型参数的大小达到 75%。作者提出了四元数变体模型和新的架构，如四元数注意力模型和四元数变换器模型，并在多项 NLP 任务上进行了广泛的实验，证明了所提出的模型的优越性。

    Jun, 2019

  • 量化近似正交递归神经网络

    针对计算能力有限的设备，本文研究了正交循环神经网络（ORNNs）的量化问题，并提出了通过后训练量化和量化感知训练方法来实现量化正交 RNNs（QORNNs），实验结果表明量化感知训练比后训练量化更有效，最高效的模型在各种标准测试中达到与精确度 ORNN 和 LSTM 相似的结果，即使使用了 3 位量化。

    Feb, 2024

  • 四元数图神经网络

    本研究提出四元数图神经网络（QGNN）并将其应用于图分类和节点分类等领域，同时在知识图谱完成任务中取得了最优结果。

    Aug, 2020

  • 四元数卷积神经网络

    通过使用四元数矩阵表示，我们提出了一个四元数卷积神经网络（QCNN）模型来在彩色图像分类和去噪任务中得到更具代表性的特征，并测试结果表明该模型优于具有相同结构的实值卷积神经网络。

    Mar, 2019