Aug, 2024

我们能在高能物理分类任务中改进吗？科尔莫戈洛夫-阿诺德网络在LHC物理示例中的应用

HTML
PDF
TL;DR本研究针对高能物理中典型的二元事件分类任务，探讨了科尔莫戈洛夫-阿诺德网络(KAN)作为多层感知器的替代方案。研究表明，KANs的激活函数能够学到输入特征的对数似然比，而较深的KAN网络能够学习到更复杂的数据表示，尽管小型KAN在可解释性方面具有优势，但在参数效率上未必超越多层感知器。
发现论文，激发创造
  • KAN：科尔莫哥洛夫－阿诺德网络

    Kolmogorov-Arnold Networks (KANs) are proposed as alternatives to Multi-Layer Perceptrons (MLPs), outperforming them in terms of accuracy and interpretability, while possessing faster neural scaling laws; KANs have potential to improve current deep learning models.

    Apr, 2024

  • 展示科尔莫戈洛夫-阿诺德网络在视觉任务中的效力

    我们通过对 MNIST、CIFAR10 和 CIFAR100 数据集进行多次试验，使用批量大小为32，证明了 Kolmogorov-Arnold Network（KAN）在视觉任务中的有效性。研究结果表明，KAN 在 CIFAR10 和 CIFAR100 上优于 MLP-Mixer，但稍逊于最先进的 ResNet-18。本研究揭示了 KAN 在图像分类任务中的潜力，并提出了进一步改进其性能的方向。

    Jun, 2024

  • 有限基础的科尔莫哥洛夫-阿诺德网络：数据驱动和物理启发问题的域分解

    使用有限基础Kolmogorov-Arnold网络（FBKANs）和域分解方法，可以通过在并行中训练多个小型网络来解决多尺度问题，得到对噪声数据和物理相关训练具有准确结果的科学机器学习方法。

    Jun, 2024

  • 激活空间可选择的Kolmogorov-Arnold网络

    本研究解决了Kolmogorov-Arnold网络(KAN)在不同任务中的性能降低问题，提出了一种自适应选择激活模式的可选择激活空间KAN(S-KAN)。实验结果表明，S-KAN在七个函数拟合任务中超过了基线方法，并在四个通用图像分类数据集上优于同等参数水平的多层感知器(MLP)方法，推动了新人工智能范式的数据中心化设计理解。

    Aug, 2024

  • 科尔莫哥洛夫-阿诺德网络的鲁棒性：对抗性视角

    本文探讨了科尔莫哥洛夫-阿诺德网络（KANs）在对抗条件下的鲁棒性，尤其是在图像分类任务中的表现。通过评估KANs对标准白盒对抗攻击的性能，并与传统神经网络架构进行比较，文章揭示了KANs在对抗性情况下的独特脆弱性，为未来在这一新兴领域的研究奠定了基础。

    Aug, 2024

  • FC-KAN：科尔莫哥洛夫-阿诺德网络中的函数组合

    本研究提出了FC-KAN，一种运用常见数学函数组合的科尔莫哥洛夫-阿诺德网络，旨在解决低维数据处理中的功能组合问题。通过实验，FC-KAN在MNIST和Fashion-MNIST数据集上表现优于其他比较的模型，展示了函数组合在未来KAN设计中的潜力。

    Sep, 2024

  • 卡努斯能否（重新）发现直接驱动激光聚变的预测模型？

    本研究解决了激光聚变领域中机器学习模型预测难度大和训练数据有限的问题。提出了一种新颖的基于Kolmogorov-Arnold网络（KAN）的数据驱动预测模型，展现出高预测准确性和物理可解释性。研究结果表明，KAN在数据匮乏的物理应用中具有潜在的优势。

    Sep, 2024

  • 低数据条件下的 Kolmogorov-Arnold 网络：与多层感知器的比较研究

    本研究解决了在数据稀缺环境下，多层感知器（MLPs）和 Kolmogorov-Arnold 网络（KANs）之间的有效性差异问题。通过引入具有参数化激活函数的 MLP 设计方法，研究表明在样本量仅为一百左右的情况下，个性化激活函数的 MLP 在预测准确性上显著优于 KAN，提供了关于激活函数选择对神经网络影响的新见解。

    Sep, 2024

  • 对KAN网络的表达能力和谱偏差的研究

    本研究针对Kolmogorov-Arnold网络（KAN）与多层感知机（MLP）的对比进行了深入的理论探讨，尤其是在表达和近似能力方面。研究发现，尽管KAN的近似和表示能力与MLP相当，但在处理高频成分时，KAN展现出更低的谱偏差，且具备更高的效率，长期来看可为科学计算问题提供更优的解决方案。

    Oct, 2024

  • 科尔莫哥洛夫-阿诺德网络自编码器

    本研究解决了多层感知器（MLP）在数据表示任务中的局限性，提出了科尔莫哥洛夫-阿诺德网络（KAN）作为替代方案。通过将激活函数置于边上，与科尔莫哥洛夫-阿诺德表示定理相一致，KAN提高了模型的准确性和可解释性。我们的实验结果表明，KAN自编码器在重构准确性方面表现出色，证实了其在数据分析中的有效性。

    Oct, 2024