Aug, 2024

激活空间可选择的Kolmogorov-Arnold网络

HTML
PDF
TL;DR本研究解决了Kolmogorov-Arnold网络(KAN)在不同任务中的性能降低问题，提出了一种自适应选择激活模式的可选择激活空间KAN(S-KAN)。实验结果表明，S-KAN在七个函数拟合任务中超过了基线方法，并在四个通用图像分类数据集上优于同等参数水平的多层感知器(MLP)方法，推动了新人工智能范式的数据中心化设计理解。
发现论文，激发创造
  • KAN：科尔莫哥洛夫－阿诺德网络

    Kolmogorov-Arnold Networks (KANs) are proposed as alternatives to Multi-Layer Perceptrons (MLPs), outperforming them in terms of accuracy and interpretability, while possessing faster neural scaling laws; KANs have potential to improve current deep learning models.

    Apr, 2024

  • KAN在计算机视觉中的适用性：初步调查

    Kolmogorov-Arnold Networks (KANs) are evaluated for visual modeling in image recognition tasks, comparing their performance and efficiency with conventional models, highlighting their potential and areas for further research.

    Jun, 2024

  • 卷积科尔莫哥洛夫-阿诺德网络

    这篇论文提出了卷积科尔莫戈洛夫-阿诺德网络（Convolutional KANs），这是标准卷积神经网络（CNN）的一种创新替代方法，我们将科尔莫戈洛夫-阿诺德网络（KANs）中的非线性激活函数集成到卷积中，构建出一个新的层。我们在MNIST和Fashion-MNIST基准测试中对Convolutional KANs的性能进行了实证验证，表明这种新方法在准确性方面保持了类似水平，同时只使用了一半的参数。这种参数量的显著减少打开了推进神经网络架构优化的新途径。

    Jun, 2024

  • 展示科尔莫戈洛夫-阿诺德网络在视觉任务中的效力

    我们通过对 MNIST、CIFAR10 和 CIFAR100 数据集进行多次试验，使用批量大小为32，证明了 Kolmogorov-Arnold Network（KAN）在视觉任务中的有效性。研究结果表明，KAN 在 CIFAR10 和 CIFAR100 上优于 MLP-Mixer，但稍逊于最先进的 ResNet-18。本研究揭示了 KAN 在图像分类任务中的潜力，并提出了进一步改进其性能的方向。

    Jun, 2024

  • 科尔莫戈洛夫－阿诺德卷积：设计原则与实证研究

    本文探讨了Kolmogorov-Arnold Networks在计算机视觉领域的应用，提出了参数高效的设计和微调算法，并在图像分类和分割任务中取得了最新成果。

    Jul, 2024

  • SineKAN: 使用正弦激活函数的科尔莫戈洛夫-阿诺德网络

    用可学习的正弦函数替代可学习的基本样条函数可以在MNIST基准测试中提供更好或相当的数值性能，并且速度提高了4-9倍。

    Jul, 2024

  • 检测不可检测的: 结合Kolmogorov-Arnold网络和多层感知器进行AI生成图像检测

    本研究解决了区分真实与AI生成图像的复杂问题，提供了一种新颖的检测框架，能够有效识别由先进生成AI模型（如DALL-E 3、MidJourney和Stable Diffusion 3）产生的图像。通过引入结合了Kolmogorov-Arnold网络与多层感知器的混合架构，提升了对图像复杂模式的捕捉能力，研究表明该模型在分类真实图像与AI生成图像时在多项测试中优于传统模型。

    Aug, 2024

  • FC-KAN：科尔莫哥洛夫-阿诺德网络中的函数组合

    本研究提出了FC-KAN，一种运用常见数学函数组合的科尔莫哥洛夫-阿诺德网络，旨在解决低维数据处理中的功能组合问题。通过实验，FC-KAN在MNIST和Fashion-MNIST数据集上表现优于其他比较的模型，展示了函数组合在未来KAN设计中的潜力。

    Sep, 2024

  • 低数据条件下的 Kolmogorov-Arnold 网络：与多层感知器的比较研究

    本研究解决了在数据稀缺环境下，多层感知器（MLPs）和 Kolmogorov-Arnold 网络（KANs）之间的有效性差异问题。通过引入具有参数化激活函数的 MLP 设计方法，研究表明在样本量仅为一百左右的情况下，个性化激活函数的 MLP 在预测准确性上显著优于 KAN，提供了关于激活函数选择对神经网络影响的新见解。

    Sep, 2024

  • 科尔莫戈洛夫-阿诺德变压器

    本研究针对传统变压器中多层感知器层的限制，提出了一种新架构——科尔莫戈洛夫-阿诺德变压器（KAT），通过使用科尔莫戈洛夫-阿诺德网络（KAN）层来提高模型的表现力和性能。研究中提出的三大解决方案有效地克服了在现代硬件上实施KAN时的计算效率和权重初始化挑战，使KAT在性能上显著超越了传统基于MLP的变压器。

    Sep, 2024