ICLRFeb, 2021

四元数扩展全连接层：超复数乘法的参数化及 1/n 参数

PDF
TL;DR提出了一种参数化超复数乘法的方法，使得模型可以从数据中学习乘法规则，进而在任意维度的超复数空间上进行运算，从而获得更大的架构灵活性和性能优势。
representation learninghypercomplex spacequaternionsparameterizing hypercomplex multiplicationsarchitectural flexibility
发现论文，激发创造
  • 深度四元数网络

    本文介绍了如何使用四元数构建深度网络，通过在 CIFAR-10 和 CIFAR-100 数据集上进行端到端训练以及在 KITTI Road Segmentation 数据集上进行端到端训练，我们证明了四元数网络比实数网络和复数网络具有更好的收敛性能，在分割任务中表现尤为突出。

    Dec, 2017

  • 基于四元数网络的轻量级高效神经自然语言处理

    本文针对自然语言处理（NLP）任务，提出了一系列轻量级和内存高效的神经网络模型，利用四元数代数和超复数空间进行计算，在不影响性能的情况下减少了模型参数的大小达到 75%。作者提出了四元数变体模型和新的架构，如四元数注意力模型和四元数变换器模型，并在多项 NLP 任务上进行了广泛的实验，证明了所提出的模型的优越性。

    Jun, 2019

  • 四元数知识图谱嵌入

    本研究提出了一种基于超复数表示的知识图谱嵌入方法，利用四元数来表示实体并将关系建模为四维空间中的旋转方式，实验证明此方法在关系表示学习方面表现出色并达到了当前领域最好的水平。

    Apr, 2019

  • 图分类的参数化高维复数图神经网络

    本研究旨在开发利用超复特征变换的图神经网络，通过推断数据自身的乘法规则来实现一种新的模型，其具有正则化效果，能够显著提升 HC 嵌入的表达能力，相比对应的实数 GNN，达到了 more state-of-the-art 的性能，同时内存占用和参数数量都更少。

    Mar, 2021

  • 用剪枝四元数实现的神经网络

    这项研究通过对不同体系结构的实际和四元数值实现进行剪枝实验，发现在高稀疏度水平下，四元数模型在某些体系结构上比其实数模型具有更高的准确性。在极度资源受限的环境中部署时，稀疏的四元数网络可能是一个更好的选择。

    Aug, 2023

  • 探索超复数神经网络

    本文提出了内在可解释的 PHNNs 和矩形网络，并使用 PHB-cos 变换方法对参数化超复域进行解释。对超复型网络进行了深入分析，发现其倾向于将注意力集中在感兴趣的目标形状及其周围的形状上。

    Mar, 2024

  • 在超复数空间中融合知识图谱嵌入和预训练语言模型

    该论文提出了一种结合超复数代数的模型，通过将结构性和文本性知识统一表示为四种模态的向量，其中包括结构性知识图嵌入、单词级表示法、句子级表示法和文档级表示法，以增强链接预测任务的性能。

    Aug, 2022

  • 四元数卷积神经网络：当前进展与未来方向

    本文介绍了关于四元数卷积神经网络 (QCNNs) 的发展、目前的趋势和在设计 QCNN 模型中使用的主要模块，并提出了未来的研究方向。

    Jul, 2023

  • 四元数图神经网络

    本研究提出四元数图神经网络（QGNN）并将其应用于图分类和节点分类等领域，同时在知识图谱完成任务中取得了最优结果。

    Aug, 2020

  • 四元数卷积神经网络用于异构图像处理

    本文研究基于多元代数的四元数卷积神经网络在彩色图像重建任务上的成功原因，发现其可以更好地学习内部和外部关系以及更少的参数数量与灰度训练的情况下，在重建未看到的彩色图像上表现较好。

    Oct, 2018