本文介绍了如何使用四元数构建深度网络,通过在 CIFAR-10 和 CIFAR-100 数据集上进行端到端训练以及在 KITTI Road Segmentation 数据集上进行端到端训练,我们证明了四元数网络比实数网络和复数网络具有更好的收敛性能,在分割任务中表现尤为突出。
Dec, 2017
本文针对自然语言处理(NLP)任务,提出了一系列轻量级和内存高效的神经网络模型,利用四元数代数和超复数空间进行计算,在不影响性能的情况下减少了模型参数的大小达到 75%。作者提出了四元数变体模型和新的架构,如四元数注意力模型和四元数变换器模型,并在多项 NLP 任务上进行了广泛的实验,证明了所提出的模型的优越性。
Jun, 2019
通过使用 quaternions 表示旋转,使用前向运动学来惩罚绝对位置误差,同时比较 quaternions 和 Euler 角的性能,我们提出了一种新方法 --QuaterNet,用于预测和生成 3D 人体姿势序列。经过实验证明这种方法在短期和长期预测和生成任务中都取得了良好的效果,相比于人体图像学界最新的神经策略,我们的方法被评估为非常逼真。此外,我们还发现,Human3.6M 的标准评估协议产生了高方差结果,提出了简单的解决方案。
Jan, 2019
通过使用四元数矩阵表示,我们提出了一个四元数卷积神经网络(QCNN)模型来在彩色图像分类和去噪任务中得到更具代表性的特征,并测试结果表明该模型优于具有相同结构的实值卷积神经网络。
Mar, 2019
提出了一种参数化超复数乘法的方法,使得模型可以从数据中学习乘法规则,进而在任意维度的超复数空间上进行运算,从而获得更大的架构灵活性和性能优势。
Feb, 2021
本文介绍了深度神经网络中两种压缩技术 —— 剪枝和量化,比较了它们的优劣,并且提出了相关的压缩网络的实用指南。
Jan, 2021
通过在高维度中训练剪枝神经网络并与梯度下降算法结合,我们研究了剪枝网络对广泛类统计模型学习的影响,发现剪枝神经网络在样本复杂度上相比未剪枝网络有提升,并引入了相关统计查询下界来支持这一观点。
Jun, 2024
本研究提出一种基于压缩技术的新型卷积神经网络 (CNN),通过修剪 (pruning) 和量化 (quantization) 技术降低其对计算和存储资源的需求。研究运行在机械臂姿态估计任务中,结果显示修剪 70% 后,参数和 FLOPS 的需求分别减少 88.86%和 94.45%,即使在高负载情况下高端设备的响应时间显着改善,输入图像处理速度从 11.71 FPS 提高到 41.9 FPS,而使用受限设备时,图像处理速度也提高了从 2.86 FPS 到 10.04 FPS。
May, 2022
本研究提出四元数图神经网络(QGNN)并将其应用于图分类和节点分类等领域,同时在知识图谱完成任务中取得了最优结果。
Aug, 2020
本研究通过实验研究了四元数在多种机器学习算法中的应用。四元数是三维空间中旋转的数学表示,可用于表示复杂数据转换。通过随机生成的四元数数据和相应标签,将四元数转换为旋转矩阵作为输入特征,基于四元数和多种机器学习算法,研究表明在预测任务中具有更高的准确度和显著改善的性能。总体而言,本研究为利用四元数进行机器学习任务提供了实证基础。
Aug, 2023