Jun, 2024

KHNNs: 使用 TensorFlow 和 PyTorch 在 Keras 中进行的超复杂神经网络计算

PDF
TL;DR神经网络的超复数计算在某些应用中表现更好，我们建议使用与 Keras 集成的库在 TensorFlow 和 PyTorch 中进行超复数计算。
发现论文，激发创造
  • 股票数据时间序列预测中的高维神经网络

    对三种用于时间序列预测的架构进行了测试，它们分别包含卷积层、LSTM 层和密集超复数层用于 4D 代数。通过优化与架构类别相关的超参数，比较了最佳神经网络在类别内的性能。结果显示，在大多数情况下，具有超复数密集层的架构与其他架构相比，提供了类似的 MAE 准确性，但可训练参数较少。由于这一特点，超复数神经网络可以比其他测试的架构更快地学习和处理数据。此外，输入时间序列的顺序对有效性产生影响。

    Jan, 2024

  • 完全张量法在超复杂神经网络中的应用

    给出了超复杂神经网络的完全张量理论，其关键点是观察代数乘法可以表示为一个三阶张量。这种方法对于支持有效张量操作的神经网络库非常有吸引力。

    Jun, 2024

  • Tensor Comprehensions：通用的高性能机器学习抽象框架

    介绍了 TensorFlow、Chainer、CNTK、Torch/PyTorch、Caffe1/2、MXNet 和 Theano 等深度学习神经网络的竞争框架，并提出了一种名为 Tensor Comprehensions 的类数学语言，以及一个将深度学习 DAG 的数学描述转换为 CUDA 核心的即时编译器。

    Feb, 2018

  • 探索超复数神经网络

    本文提出了内在可解释的 PHNNs 和矩形网络，并使用 PHB-cos 变换方法对参数化超复域进行解释。对超复型网络进行了深入分析，发现其倾向于将注意力集中在感兴趣的目标形状及其周围的形状上。

    Mar, 2024

  • 图分类的参数化高维复数图神经网络

    本研究旨在开发利用超复特征变换的图神经网络，通过推断数据自身的乘法规则来实现一种新的模型，其具有正则化效果，能够显著提升 HC 嵌入的表达能力，相比对应的实数 GNN，达到了 more state-of-the-art 的性能，同时内存占用和参数数量都更少。

    Mar, 2021

  • 深度复杂网络

    本文提供了复数深度神经网络的关键原子组件，并应用于计算机视觉和音频相关任务，实现了与实数模型相当的性能表现。

    May, 2017

  • 单纯二维复形卷积神经网络

    在 Simplicial 2 - 复合体中，我们开发了一个卷积神经网络层，以处理具有图形或超图结构的数据，这提供了图形结构和超图结构之间的中间地带。

    Dec, 2020

  • 深度四元数网络

    本文介绍了如何使用四元数构建深度网络，通过在 CIFAR-10 和 CIFAR-100 数据集上进行端到端训练以及在 KITTI Road Segmentation 数据集上进行端到端训练，我们证明了四元数网络比实数网络和复数网络具有更好的收敛性能，在分割任务中表现尤为突出。

    Dec, 2017

  • TensorKrowch：张量网络在机器学习中的平滑集成

    描述了 TensorKrowch Python 库的主要功能和基本用法，并提供了有关其构建块和优化的技术细节，以便将张量网络轻松集成到机器学习管道中。

    Jun, 2023

  • 如何学习更多？探索科尔莫哥罗夫 - 阿诺德网络用于高光谱图像分类

    本研究评估了 Kolmogorov-Arnold Networks（KANs）在复杂高光谱图像（HSI）数据分类中的有效性，并提出了一种利用 1D、2D 和 3D KANs 的混合架构，实验证明该 KAN 架构相比于多个基于 CNN 和 ViT 的算法在多个基准数据集上具有竞争力或更好的能力。

    Jun, 2024