May, 2024

Kolmogorov-Arnold 网络是径向基函数网络

PDF
TL;DR这篇简短论文是关于用高斯径向基函数很好地近似 Kolmogorov-Arnold 网络（KANs）中使用的 3 阶 B 样条的快速概念验证。通过这样做，得到了 FastKAN，这是一种比 KAN 更快速的径向基函数网络。
发现论文，激发创造
  • BSRBF-KAN：在 Kolmogorov-Arnold 网络中结合 B 样条和径向基函数

    介绍了 BSRBF-KAN，一种将 B 样条和径向基函数（RBF）结合起来用于拟合数据训练输入向量的科尔莫戈洛夫・阿诺德网络（KAN），通过在 MNIST 数据集上与 MLP 和其他流行的 KAN 进行实验，BSRBF-KAN 在 5 次训练中表现出稳定性，并获得了优于其他网络的收敛性，其平均准确率为 97.55％，我们希望 BSRBF-KAN 能够开启许多数学函数组合来设计 KAN，我们的资源库可公开访问：https://this-example-URL

    Jun, 2024

  • rKAN: 理性 Kolmogorov-Arnold 网络

    本研究探索了使用有理函数作为 Kolmogorov-Arnold 网络的基础函数，并提出了两种不同的方法，基于 Pade 逼近和有理 Jacobi 函数作为可训练的基础函数，建立了有理 KAN (rKAN)。然后，我们评估了 rKAN 在各种深度学习和物理推断任务中的性能，以证明其在函数逼近中的实用性和有效性。

    Jun, 2024

  • Kolmogorov-Arnold 网络（KANs）用于时间序列分析

    通过将 Kolmogorov-Arnold Networks (KANs) 应用于时间序列预测，利用它们的自适应激活函数来增强预测建模能力。证明了在实际卫星流量预测任务中，KANs 相对于传统的多层感知机 (MLPs) 能够以更准确的结果和更少的可学习参数提供更好的性能。此外，还对 KAN-specific 参数的影响进行了深入研究，为自适应预测模型开辟了新的途径，强调了 KANs 作为强大预测分析工具的潜力。

    May, 2024

  • 在 Kolmogorov-Arnold 网络中探索多项式基函数的潜力：不同多项式组的比较研究

    该论文调查了 18 种不同的多项式以及它们在 Kolmogorov-Arnold 网络 (KAN) 模型中的潜在应用，作为传统样条方法的替代。这些多项式根据它们的数学特性进行分类，包括正交多项式、超几何多项式、q - 多项式、斐波那契相关多项式、组合多项式和数论多项式。研究目的是调查这些多项式作为 KAN 模型中的基函数在复杂任务（如 MNIST 数据集上的手写数字分类）中的适用性。评估并比较了 KAN 模型的性能指标，包括总体准确度、Kappa 系数和 F1 得分。Gottlieb-KAN 模型在所有指标上均取得了最高性能，表明其在给定任务中的潜力。然而，需要进一步分析和调整这些多项式在更复杂数据集上的表现，以充分了解它们在 KAN 模型中的能力。这些 KAN 模型的实现源代码可在该 https URL 上获得。

    May, 2024

  • 卷积科尔莫哥洛夫 - 阿诺德网络

    这篇论文提出了卷积科尔莫戈洛夫 - 阿诺德网络（Convolutional KANs），这是标准卷积神经网络（CNN）的一种创新替代方法，我们将科尔莫戈洛夫 - 阿诺德网络（KANs）中的非线性激活函数集成到卷积中，构建出一个新的层。我们在 MNIST 和 Fashion-MNIST 基准测试中对 Convolutional KANs 的性能进行了实证验证，表明这种新方法在准确性方面保持了类似水平，同时只使用了一半的参数。这种参数量的显著减少打开了推进神经网络架构优化的新途径。

    Jun, 2024

  • ReLU-KAN: 仅需矩阵加法、点乘和 ReLU 的新型 Kolmogorov-Arnold 网络

    该论文介绍了一种新颖的 ReLU-KAN 实现，通过采用 ReLU 和逐元素乘法简化了 KAN 的基函数设计，并优化了计算过程，提高了 CUDA 计算的效率。实验结果表明，与传统的 KAN 相比，ReLU-KAN 在具有 4 层网络的情况下加速了 20 倍。此外，ReLU-KAN 在保留了 KAN 的 “防止灾难性遗忘” 特性的同时，表现出更稳定的训练过程和较好的拟合能力。

    Jun, 2024

  • 基于切比雪夫多项式的科尔莫哥洛夫－阿诺德网络：一种用于非线性函数逼近的高效架构

    基于 Chebyshev 多项式的 Chebyshev Kolmogorov-Arnold 网络（Chebyshev KAN）是一种新颖的方法，结合了 Kolmogorov-Arnold 定理的理论基础和 Chebyshev 多项式的强大逼近能力，以准确逼近复杂非线性函数。

    May, 2024

  • fKAN：具有可训练雅可比基函数的分数阿诺德网络

    该论文介绍了一种称为 Fractional Kolmogorov-Arnold Network（fKAN）的神经网络结构，它结合了 Kolmogorov-Arnold Networks（KANs）独特属性以及可训练的自适应分数正交 Jacobi 函数作为基本函数。通过利用分数 Jacobi 函数的独特数学特性，包括简单的导数公式、非多项式行为以及对正负输入值的活动性，该方法确保了高效的学习和提高的准确性。该论文通过在深度学习和基于物理的深度学习任务中进行评估，测试了该架构的性能，其中包括合成回归数据、图像分类、图像去噪以及情感分析。此外，对各种微分方程进行了性能测试，包括普通微分方程、偏微分方程和分数延迟微分方程。结果表明，将分数 Jacobi 函数整合到 KANs 中可以显著提高训练速度和在不同领域和应用中的性能。

    Jun, 2024

  • 有限基础的科尔莫哥洛夫 - 阿诺德网络：数据驱动和物理启发问题的域分解

    使用有限基础 Kolmogorov-Arnold 网络（FBKANs）和域分解方法，可以通过在并行中训练多个小型网络来解决多尺度问题，得到对噪声数据和物理相关训练具有准确结果的科学机器学习方法。

    Jun, 2024

  • KAN：科尔莫哥洛夫－阿诺德网络

    Kolmogorov-Arnold Networks (KANs) are proposed as alternatives to Multi-Layer Perceptrons (MLPs), outperforming them in terms of accuracy and interpretability, while possessing faster neural scaling laws; KANs have potential to improve current deep learning models.

    Apr, 2024