不规则或噪声函数上的KAN与MLP比较
Kolmogorov-Arnold Networks (KANs) are proposed as alternatives to Multi-Layer Perceptrons (MLPs), outperforming them in terms of accuracy and interpretability, while possessing faster neural scaling laws; KANs have potential to improve current deep learning models.
Apr, 2024
研究使用具有固定网络拓扑结构的Kolmogorov-Arnold网络(KAN)作为传统多层感知器(MLP)架构的高效可解释替代方法,探讨了KAN中平滑性的相关性,并提出了在特定函数类中,具有平滑且结构知情的KAN可以达到与MLP相等的效果,从而减少训练所需的数据,并降低生成虚假预测的风险,从而提高计算生物医学模型的可靠性和性能。
May, 2024
本文在真实的表格式数据集上进行了 Kolmogorov-Arnold Networks (KANs) 和 Multi-Layer Perceptrons (MLPs) 的基准测试研究,结果显示 KANs 在处理复杂数据时表现出色,但相较于可比较大小的 MLPs,其计算成本较高。
Jun, 2024
本研究针对Kolmogorov-Arnold网络(KAN)在传统多层感知机(MLP)面临验证的瓶颈问题,进行了大规模基准数据集上的比较。研究发现,KAN在128个时间序列数据集上的表现可与MLP匹敌,且具有更强的鲁棒性,揭示了KAN及其层在提升模型对抗鲁棒性方面的潜力。
Aug, 2024
本研究解决了Kolmogorov-Arnold网络(KAN)在不同任务中的性能降低问题,提出了一种自适应选择激活模式的可选择激活空间KAN(S-KAN)。实验结果表明,S-KAN在七个函数拟合任务中超过了基线方法,并在四个通用图像分类数据集上优于同等参数水平的多层感知器(MLP)方法,推动了新人工智能范式的数据中心化设计理解。
Aug, 2024
本研究解决了Kolmogorov-Arnold网络(KAN)在大规模基准数据集上验证的需求,特别是在时间序列数据领域。通过与传统的多层感知器(MLP)进行比较,研究发现KAN在128个时间序列数据集上的表现可与MLP相媲美,甚至略有提升,同时显示出更强的鲁棒性,具有改进其他模型对抗鲁棒性的潜力。
Aug, 2024
本文探讨了科尔莫哥洛夫-阿诺德网络(KANs)在对抗条件下的鲁棒性,尤其是在图像分类任务中的表现。通过评估KANs对标准白盒对抗攻击的性能,并与传统神经网络架构进行比较,文章揭示了KANs在对抗性情况下的独特脆弱性,为未来在这一新兴领域的研究奠定了基础。
Aug, 2024
本研究提出了FC-KAN,一种运用常见数学函数组合的科尔莫哥洛夫-阿诺德网络,旨在解决低维数据处理中的功能组合问题。通过实验,FC-KAN在MNIST和Fashion-MNIST数据集上表现优于其他比较的模型,展示了函数组合在未来KAN设计中的潜力。
Sep, 2024
本研究解决了在数据稀缺环境下,多层感知器(MLPs)和 Kolmogorov-Arnold 网络(KANs)之间的有效性差异问题。通过引入具有参数化激活函数的 MLP 设计方法,研究表明在样本量仅为一百左右的情况下,个性化激活函数的 MLP 在预测准确性上显著优于 KAN,提供了关于激活函数选择对神经网络影响的新见解。
Sep, 2024
本研究针对Kolmogorov-Arnold网络(KAN)与多层感知机(MLP)的对比进行了深入的理论探讨,尤其是在表达和近似能力方面。研究发现,尽管KAN的近似和表示能力与MLP相当,但在处理高频成分时,KAN展现出更低的谱偏差,且具备更高的效率,长期来看可为科学计算问题提供更优的解决方案。
Oct, 2024