Kolmogorov-Arnold Networks (KANs) are proposed as alternatives to Multi-Layer Perceptrons (MLPs), outperforming them in terms of accuracy and interpretability, while possessing faster neural scaling laws; KANs have potential to improve current deep learning models.

Apr, 2024

该论文介绍了一种新颖的 ReLU-KAN 实现，通过采用 ReLU 和逐元素乘法简化了 KAN 的基函数设计，并优化了计算过程，提高了 CUDA 计算的效率。实验结果表明，与传统的 KAN 相比，ReLU-KAN 在具有 4 层网络的情况下加速了 20 倍。此外，ReLU-KAN 在保留了 KAN 的“防止灾难性遗忘”特性的同时，表现出更稳定的训练过程和较好的拟合能力。

Jun, 2024

我们引入了图科尔莫哥洛夫-阿诺德网络（GKAN），一种创新的神经网络架构，它扩展了最近提出的科尔莫哥洛夫-阿诺德网络（KAN）的原理，用于图结构化数据。通过采用KAN的独特特性，尤其是使用可学习的单变量函数而不是固定线性权重，我们为基于图的学习任务开发了一个强大的模型。

Jun, 2024

介绍了BSRBF-KAN，一种将B样条和径向基函数（RBF）结合起来用于拟合数据训练输入向量的科尔莫戈洛夫·阿诺德网络（KAN），通过在MNIST数据集上与MLP和其他流行的KAN进行实验，BSRBF-KAN在5次训练中表现出稳定性，并获得了优于其他网络的收敛性，其平均准确率为97.55％，我们希望BSRBF-KAN能够开启许多数学函数组合来设计KAN，我们的资源库可公开访问：https://this-example-URL

Jun, 2024

最近几年，图神经网络 (GNNs) 成为学习节点和图表示的事实上的工具，该论文比较了 KANs 与 MLPs 在图学习任务中的性能，结果表明在分类任务方面两者相当，但在图回归任务上，KANs 具有明显优势。

Jun, 2024

用可学习的正弦函数替代可学习的基本样条函数可以在MNIST基准测试中提供更好或相当的数值性能，并且速度提高了4-9倍。

Jul, 2024

本研究提出了FC-KAN，一种运用常见数学函数组合的科尔莫哥洛夫-阿诺德网络，旨在解决低维数据处理中的功能组合问题。通过实验，FC-KAN在MNIST和Fashion-MNIST数据集上表现优于其他比较的模型，展示了函数组合在未来KAN设计中的潜力。

Sep, 2024

本研究针对传统线性探测方法在转移学习中无法建模复杂数据关系的局限性，提出了使用Kolmogorov-Arnold网络(KAN)作为替代方案。研究结果表明，KAN在多种配置下均显著提升了准确性和泛化能力，提供了比传统线性探测更强大和灵活的替代方案。

Sep, 2024

本研究解决了在数据稀缺环境下，多层感知器（MLPs）和 Kolmogorov-Arnold 网络（KANs）之间的有效性差异问题。通过引入具有参数化激活函数的 MLP 设计方法，研究表明在样本量仅为一百左右的情况下，个性化激活函数的 MLP 在预测准确性上显著优于 KAN，提供了关于激活函数选择对神经网络影响的新见解。

Sep, 2024

本研究针对传统变压器中多层感知器层的限制，提出了一种新架构——科尔莫戈洛夫-阿诺德变压器（KAT），通过使用科尔莫戈洛夫-阿诺德网络（KAN）层来提高模型的表现力和性能。研究中提出的三大解决方案有效地克服了在现代硬件上实施KAN时的计算效率和权重初始化挑战，使KAT在性能上显著超越了传统基于MLP的变压器。

Sep, 2024