基于切比雪夫多项式的科尔莫哥洛夫-阿诺德网络:一种用于非线性函数逼近的高效架构
这篇论文提出了卷积科尔莫戈洛夫 - 阿诺德网络(Convolutional KANs),这是标准卷积神经网络(CNN)的一种创新替代方法,我们将科尔莫戈洛夫 - 阿诺德网络(KANs)中的非线性激活函数集成到卷积中,构建出一个新的层。我们在 MNIST 和 Fashion-MNIST 基准测试中对 Convolutional KANs 的性能进行了实证验证,表明这种新方法在准确性方面保持了类似水平,同时只使用了一半的参数。这种参数量的显著减少打开了推进神经网络架构优化的新途径。
Jun, 2024
这篇简短论文是关于用高斯径向基函数很好地近似 Kolmogorov-Arnold 网络(KANs)中使用的 3 阶 B 样条的快速概念验证。通过这样做,得到了 FastKAN,这是一种比 KAN 更快速的径向基函数网络。
May, 2024
本研究探索了使用有理函数作为 Kolmogorov-Arnold 网络的基础函数,并提出了两种不同的方法,基于 Pade 逼近和有理 Jacobi 函数作为可训练的基础函数,建立了有理 KAN (rKAN)。然后,我们评估了 rKAN 在各种深度学习和物理推断任务中的性能,以证明其在函数逼近中的实用性和有效性。
Jun, 2024
研究使用具有固定网络拓扑结构的 Kolmogorov-Arnold 网络(KAN)作为传统多层感知器(MLP)架构的高效可解释替代方法,探讨了 KAN 中平滑性的相关性,并提出了在特定函数类中,具有平滑且结构知情的 KAN 可以达到与 MLP 相等的效果,从而减少训练所需的数据,并降低生成虚假预测的风险,从而提高计算生物医学模型的可靠性和性能。
May, 2024
该论文介绍了一种称为 Fractional Kolmogorov-Arnold Network(fKAN)的神经网络结构,它结合了 Kolmogorov-Arnold Networks(KANs)独特属性以及可训练的自适应分数正交 Jacobi 函数作为基本函数。通过利用分数 Jacobi 函数的独特数学特性,包括简单的导数公式、非多项式行为以及对正负输入值的活动性,该方法确保了高效的学习和提高的准确性。该论文通过在深度学习和基于物理的深度学习任务中进行评估,测试了该架构的性能,其中包括合成回归数据、图像分类、图像去噪以及情感分析。此外,对各种微分方程进行了性能测试,包括普通微分方程、偏微分方程和分数延迟微分方程。结果表明,将分数 Jacobi 函数整合到 KANs 中可以显著提高训练速度和在不同领域和应用中的性能。
Jun, 2024
我们引入了图科尔莫哥洛夫 - 阿诺德网络(GKAN),一种创新的神经网络架构,它扩展了最近提出的科尔莫哥洛夫 - 阿诺德网络(KAN)的原理,用于图结构化数据。通过采用 KAN 的独特特性,尤其是使用可学习的单变量函数而不是固定线性权重,我们为基于图的学习任务开发了一个强大的模型。
Jun, 2024
该论文调查了 18 种不同的多项式以及它们在 Kolmogorov-Arnold 网络 (KAN) 模型中的潜在应用,作为传统样条方法的替代。这些多项式根据它们的数学特性进行分类,包括正交多项式、超几何多项式、q - 多项式、斐波那契相关多项式、组合多项式和数论多项式。研究目的是调查这些多项式作为 KAN 模型中的基函数在复杂任务(如 MNIST 数据集上的手写数字分类)中的适用性。评估并比较了 KAN 模型的性能指标,包括总体准确度、Kappa 系数和 F1 得分。Gottlieb-KAN 模型在所有指标上均取得了最高性能,表明其在给定任务中的潜力。然而,需要进一步分析和调整这些多项式在更复杂数据集上的表现,以充分了解它们在 KAN 模型中的能力。这些 KAN 模型的实现源代码可在该 https URL 上获得。
May, 2024
通过将 Kolmogorov-Arnold Networks (KANs) 应用于时间序列预测,利用它们的自适应激活函数来增强预测建模能力。证明了在实际卫星流量预测任务中,KANs 相对于传统的多层感知机 (MLPs) 能够以更准确的结果和更少的可学习参数提供更好的性能。此外,还对 KAN-specific 参数的影响进行了深入研究,为自适应预测模型开辟了新的途径,强调了 KANs 作为强大预测分析工具的潜力。
May, 2024
本文探讨了 Kolmogorov-Arnold Networks 在计算机视觉领域的应用,提出了参数高效的设计和微调算法,并在图像分类和分割任务中取得了最新成果。
Jul, 2024
Kolmogorov-Arnold Networks (KANs) are proposed as alternatives to Multi-Layer Perceptrons (MLPs), outperforming them in terms of accuracy and interpretability, while possessing faster neural scaling laws; KANs have potential to improve current deep learning models.
Apr, 2024