Sep, 2024

科尔莫戈洛夫-阿诺德变压器

HTML
PDF
TL;DR本研究针对传统变压器中多层感知器层的限制，提出了一种新架构——科尔莫戈洛夫-阿诺德变压器（KAT），通过使用科尔莫戈洛夫-阿诺德网络（KAN）层来提高模型的表现力和性能。研究中提出的三大解决方案有效地克服了在现代硬件上实施KAN时的计算效率和权重初始化挑战，使KAT在性能上显著超越了传统基于MLP的变压器。
发现论文，激发创造
  • KAN：科尔莫哥洛夫－阿诺德网络

    Kolmogorov-Arnold Networks (KANs) are proposed as alternatives to Multi-Layer Perceptrons (MLPs), outperforming them in terms of accuracy and interpretability, while possessing faster neural scaling laws; KANs have potential to improve current deep learning models.

    Apr, 2024

  • ReLU-KAN: 仅需矩阵加法、点乘和ReLU的新型Kolmogorov-Arnold网络

    该论文介绍了一种新颖的 ReLU-KAN 实现，通过采用 ReLU 和逐元素乘法简化了 KAN 的基函数设计，并优化了计算过程，提高了 CUDA 计算的效率。实验结果表明，与传统的 KAN 相比，ReLU-KAN 在具有 4 层网络的情况下加速了 20 倍。此外，ReLU-KAN 在保留了 KAN 的“防止灾难性遗忘”特性的同时，表现出更稳定的训练过程和较好的拟合能力。

    Jun, 2024

  • KAN在计算机视觉中的适用性：初步调查

    Kolmogorov-Arnold Networks (KANs) are evaluated for visual modeling in image recognition tasks, comparing their performance and efficiency with conventional models, highlighting their potential and areas for further research.

    Jun, 2024

  • 卷积科尔莫哥洛夫-阿诺德网络

    这篇论文提出了卷积科尔莫戈洛夫-阿诺德网络（Convolutional KANs），这是标准卷积神经网络（CNN）的一种创新替代方法，我们将科尔莫戈洛夫-阿诺德网络（KANs）中的非线性激活函数集成到卷积中，构建出一个新的层。我们在MNIST和Fashion-MNIST基准测试中对Convolutional KANs的性能进行了实证验证，表明这种新方法在准确性方面保持了类似水平，同时只使用了一半的参数。这种参数量的显著减少打开了推进神经网络架构优化的新途径。

    Jun, 2024

  • 展示科尔莫戈洛夫-阿诺德网络在视觉任务中的效力

    我们通过对 MNIST、CIFAR10 和 CIFAR100 数据集进行多次试验，使用批量大小为32，证明了 Kolmogorov-Arnold Network（KAN）在视觉任务中的有效性。研究结果表明，KAN 在 CIFAR10 和 CIFAR100 上优于 MLP-Mixer，但稍逊于最先进的 ResNet-18。本研究揭示了 KAN 在图像分类任务中的潜力，并提出了进一步改进其性能的方向。

    Jun, 2024

  • 科尔莫戈洛夫－阿诺德卷积：设计原则与实证研究

    本文探讨了Kolmogorov-Arnold Networks在计算机视觉领域的应用，提出了参数高效的设计和微调算法，并在图像分类和分割任务中取得了最新成果。

    Jul, 2024

  • SineKAN: 使用正弦激活函数的科尔莫戈洛夫-阿诺德网络

    用可学习的正弦函数替代可学习的基本样条函数可以在MNIST基准测试中提供更好或相当的数值性能，并且速度提高了4-9倍。

    Jul, 2024

  • 激活空间可选择的Kolmogorov-Arnold网络

    本研究解决了Kolmogorov-Arnold网络(KAN)在不同任务中的性能降低问题，提出了一种自适应选择激活模式的可选择激活空间KAN(S-KAN)。实验结果表明，S-KAN在七个函数拟合任务中超过了基线方法，并在四个通用图像分类数据集上优于同等参数水平的多层感知器(MLP)方法，推动了新人工智能范式的数据中心化设计理解。

    Aug, 2024

  • FC-KAN：科尔莫哥洛夫-阿诺德网络中的函数组合

    本研究提出了FC-KAN，一种运用常见数学函数组合的科尔莫哥洛夫-阿诺德网络，旨在解决低维数据处理中的功能组合问题。通过实验，FC-KAN在MNIST和Fashion-MNIST数据集上表现优于其他比较的模型，展示了函数组合在未来KAN设计中的潜力。

    Sep, 2024

  • 低数据条件下的 Kolmogorov-Arnold 网络：与多层感知器的比较研究

    本研究解决了在数据稀缺环境下，多层感知器（MLPs）和 Kolmogorov-Arnold 网络（KANs）之间的有效性差异问题。通过引入具有参数化激活函数的 MLP 设计方法，研究表明在样本量仅为一百左右的情况下，个性化激活函数的 MLP 在预测准确性上显著优于 KAN，提供了关于激活函数选择对神经网络影响的新见解。

    Sep, 2024