SineKAN: 使用正弦激活函数的科尔莫戈洛夫-阿诺德网络
Kolmogorov-Arnold Networks (KANs) are proposed as alternatives to Multi-Layer Perceptrons (MLPs), outperforming them in terms of accuracy and interpretability, while possessing faster neural scaling laws; KANs have potential to improve current deep learning models.
Apr, 2024
通过将Kolmogorov-Arnold Networks (KANs) 应用于时间序列预测,利用它们的自适应激活函数来增强预测建模能力。证明了在实际卫星流量预测任务中,KANs 相对于传统的多层感知机 (MLPs) 能够以更准确的结果和更少的可学习参数提供更好的性能。此外,还对 KAN-specific 参数的影响进行了深入研究,为自适应预测模型开辟了新的途径,强调了 KANs 作为强大预测分析工具的潜力。
May, 2024
介绍了BSRBF-KAN,一种将B样条和径向基函数(RBF)结合起来用于拟合数据训练输入向量的科尔莫戈洛夫·阿诺德网络(KAN),通过在MNIST数据集上与MLP和其他流行的KAN进行实验,BSRBF-KAN在5次训练中表现出稳定性,并获得了优于其他网络的收敛性,其平均准确率为97.55%,我们希望BSRBF-KAN能够开启许多数学函数组合来设计KAN,我们的资源库可公开访问:https://this-example-URL
Jun, 2024
本研究探索了使用有理函数作为Kolmogorov-Arnold网络的基础函数,并提出了两种不同的方法,基于Pade逼近和有理Jacobi函数作为可训练的基础函数,建立了有理KAN(rKAN)。然后,我们评估了rKAN在各种深度学习和物理推断任务中的性能,以证明其在函数逼近中的实用性和有效性。
Jun, 2024
使用有限基础Kolmogorov-Arnold网络(FBKANs)和域分解方法,可以通过在并行中训练多个小型网络来解决多尺度问题,得到对噪声数据和物理相关训练具有准确结果的科学机器学习方法。
Jun, 2024
本研究解决了Kolmogorov-Arnold网络(KAN)在不同任务中的性能降低问题,提出了一种自适应选择激活模式的可选择激活空间KAN(S-KAN)。实验结果表明,S-KAN在七个函数拟合任务中超过了基线方法,并在四个通用图像分类数据集上优于同等参数水平的多层感知器(MLP)方法,推动了新人工智能范式的数据中心化设计理解。
Aug, 2024
本研究解决了传统Kolmogorov-Arnold网络(KANs)在有限网格和固定B样条系数方面的局限性,提出了无界Kolmogorov-Arnold网络(UKANs)。通过引入系数生成器模型,并结合GPU加速库,显著降低了计算复杂性,实现了大规模学习的批量计算。实验结果表明,UKAN在回归、分类和生成任务中表现优越,具有更高的内存和计算效率。
Aug, 2024
本研究提出了FC-KAN,一种运用常见数学函数组合的科尔莫哥洛夫-阿诺德网络,旨在解决低维数据处理中的功能组合问题。通过实验,FC-KAN在MNIST和Fashion-MNIST数据集上表现优于其他比较的模型,展示了函数组合在未来KAN设计中的潜力。
Sep, 2024
本研究解决了在数据稀缺环境下,多层感知器(MLPs)和 Kolmogorov-Arnold 网络(KANs)之间的有效性差异问题。通过引入具有参数化激活函数的 MLP 设计方法,研究表明在样本量仅为一百左右的情况下,个性化激活函数的 MLP 在预测准确性上显著优于 KAN,提供了关于激活函数选择对神经网络影响的新见解。
Sep, 2024
本研究针对传统变压器中多层感知器层的限制,提出了一种新架构——科尔莫戈洛夫-阿诺德变压器(KAT),通过使用科尔莫戈洛夫-阿诺德网络(KAN)层来提高模型的表现力和性能。研究中提出的三大解决方案有效地克服了在现代硬件上实施KAN时的计算效率和权重初始化挑战,使KAT在性能上显著超越了传统基于MLP的变压器。
Sep, 2024