KAN 2.0:科尔莫哥洛夫-阿诺德网络与科学的结合
Kolmogorov-Arnold Networks (KANs) are proposed as alternatives to Multi-Layer Perceptrons (MLPs), outperforming them in terms of accuracy and interpretability, while possessing faster neural scaling laws; KANs have potential to improve current deep learning models.
Apr, 2024
研究使用具有固定网络拓扑结构的Kolmogorov-Arnold网络(KAN)作为传统多层感知器(MLP)架构的高效可解释替代方法,探讨了KAN中平滑性的相关性,并提出了在特定函数类中,具有平滑且结构知情的KAN可以达到与MLP相等的效果,从而减少训练所需的数据,并降低生成虚假预测的风险,从而提高计算生物医学模型的可靠性和性能。
May, 2024
Kolmogorov-Arnold Networks (KAN) 是MIT团队最近提出的一种划时代的模型,提供了一种具有改变游戏规则潜力的创新方法。本文探讨了KAN在时间序列预测中的应用,并提出了两个变体:T-KAN和MT-KAN。实验证实了这些方法的有效性,证明了它们在时间序列预测任务中显著优于传统方法,不仅提高了预测准确性,还改善了模型的可解释性。
Jun, 2024
最近几年,图神经网络 (GNNs) 成为学习节点和图表示的事实上的工具,该论文比较了 KANs 与 MLPs 在图学习任务中的性能,结果表明在分类任务方面两者相当,但在图回归任务上,KANs 具有明显优势。
Jun, 2024
使用有限基础Kolmogorov-Arnold网络(FBKANs)和域分解方法,可以通过在并行中训练多个小型网络来解决多尺度问题,得到对噪声数据和物理相关训练具有准确结果的科学机器学习方法。
Jun, 2024
通过将Kolmogorov-Arnold网络作为神经常微分方程框架的主体,本文展示了KAN-ODE在时间依赖和网格敏感的科学机器学习应用中的灵活动力系统建模能力,并证明了相比于多层感知机,KAN-ODE具有更快的神经扩展速度、更强的解释性以及更少的参数个数。作者通过三个测试案例展示了KAN-ODE的优势,并通过激活函数可视化和训练结果符号回归显示了KAN-ODE的可解释性。KAN-ODE的成功训练和相对传统Neural ODE的改进性能暗示其在各种科学机器学习应用中具有重要潜力。
Jul, 2024
通过对 Kolmogorov-Arnold 网络(KAN)的全面调查,我们对其理论基础、架构设计、应用场景以及当前研究进展有了深入的了解。KAN 凭借其独特的架构和灵活的激活函数,在处理复杂数据模式和非线性关系方面表现出色,展示了广泛的应用潜力。虽然仍然存在挑战,但 KAN 有望为各个领域的创新解决方案铺平道路,可能彻底改变我们处理复杂计算问题的方式。
Jul, 2024
本研究提出了FC-KAN,一种运用常见数学函数组合的科尔莫哥洛夫-阿诺德网络,旨在解决低维数据处理中的功能组合问题。通过实验,FC-KAN在MNIST和Fashion-MNIST数据集上表现优于其他比较的模型,展示了函数组合在未来KAN设计中的潜力。
Sep, 2024
本研究解决了在数据稀缺环境下,多层感知器(MLPs)和 Kolmogorov-Arnold 网络(KANs)之间的有效性差异问题。通过引入具有参数化激活函数的 MLP 设计方法,研究表明在样本量仅为一百左右的情况下,个性化激活函数的 MLP 在预测准确性上显著优于 KAN,提供了关于激活函数选择对神经网络影响的新见解。
Sep, 2024
本研究针对Kolmogorov-Arnold网络(KAN)与多层感知机(MLP)的对比进行了深入的理论探讨,尤其是在表达和近似能力方面。研究发现,尽管KAN的近似和表示能力与MLP相当,但在处理高频成分时,KAN展现出更低的谱偏差,且具备更高的效率,长期来看可为科学计算问题提供更优的解决方案。
Oct, 2024