对KAN网络的表达能力和谱偏差的研究

Oct, 2024

对KAN网络的表达能力和谱偏差的研究

On the expressiveness and spectral bias of KANs

Yixuan Wang, Jonathan W. Siegel, Ziming Liu, Thomas Y. Hou

TL;DR本研究针对Kolmogorov-Arnold网络（KAN）与多层感知机（MLP）的对比进行了深入的理论探讨，尤其是在表达和近似能力方面。研究发现，尽管KAN的近似和表示能力与MLP相当，但在处理高频成分时，KAN展现出更低的谱偏差，且具备更高的效率，长期来看可为科学计算问题提供更优的解决方案。

Abstract

Kolmogorov-Arnold Networks (KAN) \cite{liu2024kan} were very recently proposed as a potential alternative to the prevalent architectural backbone of many deep learning models, the multi-layer perceptron (MLP). KANs have seen success in various tasks of AI for science, with their empiri

发现论文，激发创造

KAN：科尔莫哥洛夫－阿诺德网络

Kolmogorov-Arnold Networks (KANs) are proposed as alternatives to Multi-Layer Perceptrons (MLPs), outperforming them in terms of accuracy and interpretability, while possessing faster neural scaling laws; KANs have potential to improve current deep learning models.

Apr, 2024

KAN在计算机视觉中的适用性：初步调查

Kolmogorov-Arnold Networks (KANs) are evaluated for visual modeling in image recognition tasks, comparing their performance and efficiency with conventional models, highlighting their potential and areas for further research.

Jun, 2024

基于表格数据的 Kolmogorov-Arnold 网络的基准研究

本文在真实的表格式数据集上进行了 Kolmogorov-Arnold Networks (KANs) 和 Multi-Layer Perceptrons (MLPs) 的基准测试研究，结果显示 KANs 在处理复杂数据时表现出色，但相较于可比较大小的 MLPs，其计算成本较高。

Jun, 2024

展示科尔莫戈洛夫-阿诺德网络在视觉任务中的效力

我们通过对 MNIST、CIFAR10 和 CIFAR100 数据集进行多次试验，使用批量大小为32，证明了 Kolmogorov-Arnold Network（KAN）在视觉任务中的有效性。研究结果表明，KAN 在 CIFAR10 和 CIFAR100 上优于 MLP-Mixer，但稍逊于最先进的 ResNet-18。本研究揭示了 KAN 在图像分类任务中的潜力，并提出了进一步改进其性能的方向。

Jun, 2024

KAGNNs: Kolmogorov-Arnold网络遇上图学习

最近几年，图神经网络 (GNNs) 成为学习节点和图表示的事实上的工具，该论文比较了 KANs 与 MLPs 在图学习任务中的性能，结果表明在分类任务方面两者相当，但在图回归任务上，KANs 具有明显优势。

Jun, 2024

科尔莫戈洛夫－阿诺德卷积：设计原则与实证研究

本文探讨了Kolmogorov-Arnold Networks在计算机视觉领域的应用，提出了参数高效的设计和微调算法，并在图像分类和分割任务中取得了最新成果。

Jul, 2024

不规则或噪声函数上的KAN与MLP比较

本研究解决了Kolmogorov-Arnold网络（KAN）与多层感知器（MLP）在处理不规则或噪声函数时性能差异的问题。研究表明，在某些类型的函数上，MLP的表现优于或与KAN相当，而样本量增加也可在一定程度上提高性能。这项工作为未来神经网络研究提供了有价值的见解，推动了相关挑战的进一步探讨。

Aug, 2024

科尔莫哥洛夫-阿诺德网络的鲁棒性：对抗性视角

本文探讨了科尔莫哥洛夫-阿诺德网络（KANs）在对抗条件下的鲁棒性，尤其是在图像分类任务中的表现。通过评估KANs对标准白盒对抗攻击的性能，并与传统神经网络架构进行比较，文章揭示了KANs在对抗性情况下的独特脆弱性，为未来在这一新兴领域的研究奠定了基础。

Aug, 2024

FC-KAN：科尔莫哥洛夫-阿诺德网络中的函数组合

本研究提出了FC-KAN，一种运用常见数学函数组合的科尔莫哥洛夫-阿诺德网络，旨在解决低维数据处理中的功能组合问题。通过实验，FC-KAN在MNIST和Fashion-MNIST数据集上表现优于其他比较的模型，展示了函数组合在未来KAN设计中的潜力。

Sep, 2024

低数据条件下的 Kolmogorov-Arnold 网络：与多层感知器的比较研究

本研究解决了在数据稀缺环境下，多层感知器（MLPs）和 Kolmogorov-Arnold 网络（KANs）之间的有效性差异问题。通过引入具有参数化激活函数的 MLP 设计方法，研究表明在样本量仅为一百左右的情况下，个性化激活函数的 MLP 在预测准确性上显著优于 KAN，提供了关于激活函数选择对神经网络影响的新见解。

Sep, 2024