FC-KAN:科尔莫哥洛夫-阿诺德网络中的函数组合
Kolmogorov-Arnold Networks (KANs) are proposed as alternatives to Multi-Layer Perceptrons (MLPs), outperforming them in terms of accuracy and interpretability, while possessing faster neural scaling laws; KANs have potential to improve current deep learning models.
Apr, 2024
这篇简短论文是关于用高斯径向基函数很好地近似Kolmogorov-Arnold网络(KANs)中使用的3阶B样条的快速概念验证。通过这样做,得到了FastKAN,这是一种比KAN更快速的径向基函数网络。
May, 2024
该论文调查了18种不同的多项式以及它们在 Kolmogorov-Arnold 网络 (KAN) 模型中的潜在应用,作为传统样条方法的替代。这些多项式根据它们的数学特性进行分类,包括正交多项式、超几何多项式、q-多项式、斐波那契相关多项式、组合多项式和数论多项式。研究目的是调查这些多项式作为 KAN 模型中的基函数在复杂任务(如 MNIST 数据集上的手写数字分类)中的适用性。评估并比较了 KAN 模型的性能指标,包括总体准确度、Kappa 系数和 F1 得分。Gottlieb-KAN 模型在所有指标上均取得了最高性能,表明其在给定任务中的潜力。然而,需要进一步分析和调整这些多项式在更复杂数据集上的表现,以充分了解它们在 KAN 模型中的能力。这些 KAN 模型的实现源代码可在该 https URL 上获得。
May, 2024
介绍了BSRBF-KAN,一种将B样条和径向基函数(RBF)结合起来用于拟合数据训练输入向量的科尔莫戈洛夫·阿诺德网络(KAN),通过在MNIST数据集上与MLP和其他流行的KAN进行实验,BSRBF-KAN在5次训练中表现出稳定性,并获得了优于其他网络的收敛性,其平均准确率为97.55%,我们希望BSRBF-KAN能够开启许多数学函数组合来设计KAN,我们的资源库可公开访问:https://this-example-URL
Jun, 2024
本研究探索了使用有理函数作为Kolmogorov-Arnold网络的基础函数,并提出了两种不同的方法,基于Pade逼近和有理Jacobi函数作为可训练的基础函数,建立了有理KAN(rKAN)。然后,我们评估了rKAN在各种深度学习和物理推断任务中的性能,以证明其在函数逼近中的实用性和有效性。
Jun, 2024
通过对 Kolmogorov-Arnold 网络(KAN)的全面调查,我们对其理论基础、架构设计、应用场景以及当前研究进展有了深入的了解。KAN 凭借其独特的架构和灵活的激活函数,在处理复杂数据模式和非线性关系方面表现出色,展示了广泛的应用潜力。虽然仍然存在挑战,但 KAN 有望为各个领域的创新解决方案铺平道路,可能彻底改变我们处理复杂计算问题的方式。
Jul, 2024
本研究针对Kolmogorov-Arnold网络(KAN)在传统多层感知机(MLP)面临验证的瓶颈问题,进行了大规模基准数据集上的比较。研究发现,KAN在128个时间序列数据集上的表现可与MLP匹敌,且具有更强的鲁棒性,揭示了KAN及其层在提升模型对抗鲁棒性方面的潜力。
Aug, 2024
本研究解决了Kolmogorov-Arnold网络(KAN)在大规模基准数据集上验证的需求,特别是在时间序列数据领域。通过与传统的多层感知器(MLP)进行比较,研究发现KAN在128个时间序列数据集上的表现可与MLP相媲美,甚至略有提升,同时显示出更强的鲁棒性,具有改进其他模型对抗鲁棒性的潜力。
Aug, 2024
本研究解决了在数据稀缺环境下,多层感知器(MLPs)和 Kolmogorov-Arnold 网络(KANs)之间的有效性差异问题。通过引入具有参数化激活函数的 MLP 设计方法,研究表明在样本量仅为一百左右的情况下,个性化激活函数的 MLP 在预测准确性上显著优于 KAN,提供了关于激活函数选择对神经网络影响的新见解。
Sep, 2024