本文介绍了如何使用四元数构建深度网络,通过在CIFAR-10和CIFAR-100数据集上进行端到端训练以及在KITTI Road Segmentation数据集上进行端到端训练,我们证明了四元数网络比实数网络和复数网络具有更好的收敛性能,在分割任务中表现尤为突出。
Dec, 2017
研究提出了一种用四元数代替实数的递归神经网络来处理多维特征,从而更好地模拟长期依赖,并在语音识别应用中表现出更好的性能和更紧凑的表示方式。
Jun, 2018
该研究论文介绍了一种新的方法,使用四元数代替传统的时间帧维度元素作为输入特征来训练基于QCNN和CTC模型进行序列到序列映射的语音识别系统,实验结果表明,相较于基于传统卷积神经网络的竞争模型,该方法具有更高的准确率且参数更少。
本文研究基于多元代数的四元数卷积神经网络在彩色图像重建任务上的成功原因,发现其可以更好地学习内部和外部关系以及更少的参数数量与灰度训练的情况下,在重建未看到的彩色图像上表现较好。
Oct, 2018
通过使用四元数矩阵表示,我们提出了一个四元数卷积神经网络(QCNN)模型来在彩色图像分类和去噪任务中得到更具代表性的特征,并测试结果表明该模型优于具有相同结构的实值卷积神经网络。
Mar, 2019
本文提出了一种基于四元数代数的相关学习网络(QCLNet),该网络以四元数域表示相关张量,利用四元数值卷积探索查询子空间的外部关系,并考虑支持子维度的隐藏关系,其在PASCAL-5i和COCO-20i数据集上的实验结果表明,该方法有效地优于现有的最先进方法。
May, 2023
本文介绍了关于四元数卷积神经网络(QCNNs)的发展、目前的趋势和在设计QCNN模型中使用的主要模块,并提出了未来的研究方向。
Jul, 2023
本研究通过实验研究了四元数在多种机器学习算法中的应用。四元数是三维空间中旋转的数学表示,可用于表示复杂数据转换。通过随机生成的四元数数据和相应标签,将四元数转换为旋转矩阵作为输入特征,基于四元数和多种机器学习算法,研究表明在预测任务中具有更高的准确度和显著改善的性能。总体而言,本研究为利用四元数进行机器学习任务提供了实证基础。
Aug, 2023
这项研究通过对不同体系结构的实际和四元数值实现进行剪枝实验,发现在高稀疏度水平下,四元数模型在某些体系结构上比其实数模型具有更高的准确性。在极度资源受限的环境中部署时,稀疏的四元数网络可能是一个更好的选择。
我们提出了新颖的四元数激活函数,其中修改了四元数的幅度或相位,作为常用分裂激活函数的替代。我们定义了四元数激活函数相关的准则,并基于该分析提出了我们的新颖激活函数。这些激活函数考虑了四元数的特性和四元数空间H,通过利用所有四元数的分量计算所有输出分量,从而获得了四元数卷积中的Hamilton乘积的优势。我们进一步讨论了所提出的激活函数的导数,发现相位影响的激活函数具有有益的属性。我们对提出的四元数激活函数进行了详细的实验评估,并与基于分裂ReLU和分裂双曲正切的方法在CIFAR-10和SVHN数据集上进行了比较。在其中,尤其是影响相位的四元数激活函数始终提供更好的性能。
Jun, 2024