ACLJun, 2019

基于四元数网络的轻量级高效神经自然语言处理

PDF
TL;DR本文针对自然语言处理（NLP）任务，提出了一系列轻量级和内存高效的神经网络模型，利用四元数代数和超复数空间进行计算，在不影响性能的情况下减少了模型参数的大小达到 75%。作者提出了四元数变体模型和新的架构，如四元数注意力模型和四元数变换器模型，并在多项 NLP 任务上进行了广泛的实验，证明了所提出的模型的优越性。
neural modelsnlpmemory efficiencyquaternion algebrahypercomplex spaces
发现论文，激发创造
  • 用剪枝四元数实现的神经网络

    这项研究通过对不同体系结构的实际和四元数值实现进行剪枝实验，发现在高稀疏度水平下，四元数模型在某些体系结构上比其实数模型具有更高的准确性。在极度资源受限的环境中部署时，稀疏的四元数网络可能是一个更好的选择。

    Aug, 2023

  • 四元数循环神经网络

    研究提出了一种用四元数代替实数的递归神经网络来处理多维特征，从而更好地模拟长期依赖，并在语音识别应用中表现出更好的性能和更紧凑的表示方式。

    Jun, 2018

  • 四元数卷积神经网络用于端到端自动语音识别

    该研究论文介绍了一种新的方法，使用四元数代替传统的时间帧维度元素作为输入特征来训练基于 QCNN 和 CTC 模型进行序列到序列映射的语音识别系统，实验结果表明，相较于基于传统卷积神经网络的竞争模型，该方法具有更高的准确率且参数更少。

    Jun, 2018

  • 四元数扩展全连接层：超复数乘法的参数化及 1/n 参数

    提出了一种参数化超复数乘法的方法，使得模型可以从数据中学习乘法规则，进而在任意维度的超复数空间上进行运算，从而获得更大的架构灵活性和性能优势。

    Feb, 2021

  • 深度四元数网络

    本文介绍了如何使用四元数构建深度网络，通过在 CIFAR-10 和 CIFAR-100 数据集上进行端到端训练以及在 KITTI Road Segmentation 数据集上进行端到端训练，我们证明了四元数网络比实数网络和复数网络具有更好的收敛性能，在分割任务中表现尤为突出。

    Dec, 2017

  • 四元数图神经网络

    本研究提出四元数图神经网络（QGNN）并将其应用于图分类和节点分类等领域，同时在知识图谱完成任务中取得了最优结果。

    Aug, 2020

  • 四元数卷积神经网络

    通过使用四元数矩阵表示，我们提出了一个四元数卷积神经网络（QCNN）模型来在彩色图像分类和去噪任务中得到更具代表性的特征，并测试结果表明该模型优于具有相同结构的实值卷积神经网络。

    Mar, 2019

  • 基于四元数神经网络的人体运动建模

    通过使用 quaternions 表示旋转，使用前向运动学来惩罚绝对位置误差，同时比较 quaternions 和 Euler 角的性能，我们提出了一种新方法 --QuaterNet，用于预测和生成 3D 人体姿势序列。经过实验证明这种方法在短期和长期预测和生成任务中都取得了良好的效果，相比于人体图像学界最新的神经策略，我们的方法被评估为非常逼真。此外，我们还发现，Human3.6M 的标准评估协议产生了高方差结果，提出了简单的解决方案。

    Jan, 2019

  • 3D 旋转等变性四元数神经网络

    本文提出了一组规则，将各种神经网络修改为旋转等变四元数神经网络（REQNN），以处理 3D 点云。 REQNN 确保中间层特征对输入点的排列具有不变性，并表现出更高的旋转鲁棒性。

    Nov, 2019

  • pNLP-Mixer: 一种用于语言处理的高效全 MLP 结构

    介绍了一种低内存、低延迟基于 MLP-Mixer 的 pNLP-Mixer 模型，通过在语言学上指导投影层，实现了高效的语义分析，达到了与 38 倍参数的 mBERT 相当的性能。

    Feb, 2022