利用四元数激活函数改进四元数神经网络

Jun, 2024

利用四元数激活函数改进四元数神经网络

Improving Quaternion Neural Networks with Quaternionic Activation Functions

Johannes Pöppelbaum, Andreas Schwung

TL;DR我们提出了新颖的四元数激活函数，其中修改了四元数的幅度或相位，作为常用分裂激活函数的替代。我们定义了四元数激活函数相关的准则，并基于该分析提出了我们的新颖激活函数。这些激活函数考虑了四元数的特性和四元数空间 H，通过利用所有四元数的分量计算所有输出分量，从而获得了四元数卷积中的 Hamilton 乘积的优势。我们进一步讨论了所提出的激活函数的导数，发现相位影响的激活函数具有有益的属性。我们对提出的四元数激活函数进行了详细的实验评估，并与基于分裂 ReLU 和分裂双曲正切的方法在 CIFAR-10 和 SVHN 数据集上进行了比较。在其中，尤其是影响相位的四元数激活函数始终提供更好的性能。

Abstract

In this paper, we propose novel quaternion activation functions where we modify either the quaternion magnitude or the phase, as an alternative to the commonly used split activation functions. We define criteria that are relevant for →

quaternion activation functions neural networks gradient descent techniques hamilton product image classification

发现论文，激发创造

深度四元数网络

本文介绍了如何使用四元数构建深度网络，通过在 CIFAR-10 和 CIFAR-100 数据集上进行端到端训练以及在 KITTI Road Segmentation 数据集上进行端到端训练，我们证明了四元数网络比实数网络和复数网络具有更好的收敛性能，在分割任务中表现尤为突出。

Dec, 2017

用于量子神经网络的量子激活函数

利用量子计算机实现任意解析激活函数的量子算法填补了量子感知机领域的空白，使得任何前馈神经网络都能获得 Hornik 定理的通用逼近性质，从而使得机器学习、模式识别和聚类等问题更易于解决。

Jan, 2022

基于四元数网络的轻量级高效神经自然语言处理

本文针对自然语言处理（NLP）任务，提出了一系列轻量级和内存高效的神经网络模型，利用四元数代数和超复数空间进行计算，在不影响性能的情况下减少了模型参数的大小达到 75%。作者提出了四元数变体模型和新的架构，如四元数注意力模型和四元数变换器模型，并在多项 NLP 任务上进行了广泛的实验，证明了所提出的模型的优越性。

Jun, 2019

基于四元数神经网络的人体运动建模

通过使用 quaternions 表示旋转，使用前向运动学来惩罚绝对位置误差，同时比较 quaternions 和 Euler 角的性能，我们提出了一种新方法 --QuaterNet，用于预测和生成 3D 人体姿势序列。经过实验证明这种方法在短期和长期预测和生成任务中都取得了良好的效果，相比于人体图像学界最新的神经策略，我们的方法被评估为非常逼真。此外，我们还发现，Human3.6M 的标准评估协议产生了高方差结果，提出了简单的解决方案。

Jan, 2019

高效的机器学习激活函数的量子电路，包括常数 T 深度 ReLU

我们的研究主要关注于为容错量子计算架构开发激活函数的量子电路，重点在于最小化 $T$-depth。我们提出了 ReLU 和 leaky ReLU 激活函数的新实现，分别实现了恒定的 4 和 8 的 $T$-depth。借助量子查找表，我们还延伸研究到其他激活函数，如 sigmoid。通过调整量子比特的数量，我们能够定制精度和 $T$-depth，使得我们的研究结果在各种应用场景中更具适应性。这项研究对于提升量子机器学习的实用性和应用具有重要意义。

Apr, 2024

四元数卷积神经网络

通过使用四元数矩阵表示，我们提出了一个四元数卷积神经网络（QCNN）模型来在彩色图像分类和去噪任务中得到更具代表性的特征，并测试结果表明该模型优于具有相同结构的实值卷积神经网络。

Mar, 2019

四元数卷积神经网络用于异构图像处理

本文研究基于多元代数的四元数卷积神经网络在彩色图像重建任务上的成功原因，发现其可以更好地学习内部和外部关系以及更少的参数数量与灰度训练的情况下，在重建未看到的彩色图像上表现较好。

Oct, 2018

用剪枝四元数实现的神经网络

这项研究通过对不同体系结构的实际和四元数值实现进行剪枝实验，发现在高稀疏度水平下，四元数模型在某些体系结构上比其实数模型具有更高的准确性。在极度资源受限的环境中部署时，稀疏的四元数网络可能是一个更好的选择。

Aug, 2023

流行人工神经网络激活函数的统一

我们提出了一种统一的神经网络激活函数表示形式，采用分数阶微积分的 Mittag-Leffler 函数，该形式能够插值不同的激活函数并减轻神经网络训练中普遍存在的梯度消失和梯度爆炸等问题。使用 Lenet-5 神经网络在 MNIST 和 CIFAR-10 数据集上训练，我们证明采用统一的门控表示法是传统机器学习框架中内置的激活函数实现的一种有前途且经济的替代方案。

Feb, 2023

基于四元数值神经网络和四元数反向传播的时序压缩

我们提出了一种新颖的四元数时间序列压缩方法，将长时间序列分割成数据段，并提取这些块的最小值、最大值、均值和标准差作为代表性特征，封装在四元数中，形成一个四元数值时间序列。通过使用 Hamilton 乘积来处理这个时间序列的四元数值神经网络层，我们旨在保留这些特征之间的关系。为了训练这个四元数神经网络，我们使用了 GHR 微积分来推导四元数反向传播，这对于四元数空间中的有效乘积和链式法则是必需的。此外，我们还研究了推导出的更新规则与自动微分之间的联系。我们在 Tennessee Eastman 数据集上应用我们提出的压缩方法，并在两个设置中使用压缩数据进行故障分类：一个在完全监督的设置下，一个在半监督的对比学习设置下。两次实验中，我们都能够超越实值对照模型以及两个基准模型：一个将未压缩的时间序列作为输入，另一个则使用均值进行常规下采样。此外，我们还能将 SimCLR-TS 的分类基准从 81.43% 提高到 83.90%。

Mar, 2024