Jun, 2024

MLP 和 KAN 表示方法在微分方程和操作网络中的全面公正比较

PDF
TL;DRKANs 被引入作为 MLP 的替代表征模型，本研究中，我们应用 KANs 构建了 PIKANs 和 DeepOKANs 用于解决正向和逆向微分方程问题，与基于标准 MLP 表征的 PINNs 和 DeepONets 进行对比，发现虽然基于 B-splines 参数化的原始 KANs 精度和效率较低，但基于低阶正交多项式的修改版本性能与 PINNs 和 DeepONet 相当，尽管这些版本仍然缺乏稳健性，因为它们可能对不同的随机种子或更高阶的正交多项式发散。我们通过信息瓶颈理论可视化了相应的损失态势并分析了他们的学习动态。本研究符合 FAIR 原则，其他研究者可以利用我们的基准来进一步推动这个新兴领域。
kolmogorov-arnold networksphysics-informed machine learning modelsdifferential equationsb-splines parameterizationinformation bottleneck theory
发现论文，激发创造
  • Kolmogorov Arnold 信息神经网络：基于 Kolmogorov Arnold 网络解决偏微分方程的物理信息深度学习框架

    AI for partial differential equations has seen advancements through Physics-informed neural networks, specifically the Kolmogorov-Arnold Network, which offers interpretability and requires fewer parameters. The paper proposes a new approach, Kolmogorov-Arnold-Informed Neural Network (KINN), based on KAN, to solve PDEs in computational solid mechanics, providing more accurate and faster solutions except for complex geometry problems.

    Jun, 2024

  • 利用 KANs 提升深度库普曼算子发现

    利用 KANs 和 MLP DNNs 进行了深度 Koopman 理论的比较，结果显示 KANs 在训练速度、参数效率和预测准确性方面都优于 MLP DNNs，表现出在深度 Koopman 理论发展中的潜力。

    Jun, 2024

  • KAN：科尔莫哥洛夫－阿诺德网络

    Kolmogorov-Arnold Networks (KANs) are proposed as alternatives to Multi-Layer Perceptrons (MLPs), outperforming them in terms of accuracy and interpretability, while possessing faster neural scaling laws; KANs have potential to improve current deep learning models.

    Apr, 2024

  • 有限基础的科尔莫哥洛夫 - 阿诺德网络：数据驱动和物理启发问题的域分解

    使用有限基础 Kolmogorov-Arnold 网络（FBKANs）和域分解方法，可以通过在并行中训练多个小型网络来解决多尺度问题，得到对噪声数据和物理相关训练具有准确结果的科学机器学习方法。

    Jun, 2024

  • 基于表格数据的 Kolmogorov-Arnold 网络的基准研究

    本文在真实的表格式数据集上进行了 Kolmogorov-Arnold Networks (KANs) 和 Multi-Layer Perceptrons (MLPs) 的基准测试研究，结果显示 KANs 在处理复杂数据时表现出色，但相较于可比较大小的 MLPs，其计算成本较高。

    Jun, 2024

  • 平滑的科尔莫戈洛夫・阿诺德网络启用结构知识表征

    研究使用具有固定网络拓扑结构的 Kolmogorov-Arnold 网络（KAN）作为传统多层感知器（MLP）架构的高效可解释替代方法，探讨了 KAN 中平滑性的相关性，并提出了在特定函数类中，具有平滑且结构知情的 KAN 可以达到与 MLP 相等的效果，从而减少训练所需的数据，并降低生成虚假预测的风险，从而提高计算生物医学模型的可靠性和性能。

    May, 2024

  • 基于 Kolmogorov-Arnold 网络的柔性 EHD 泵预测建模

    我们提出了一种新颖的方法，使用 Kolmogorov-Arnold 网络预测柔性电流体力泵的压力和流量。通过受到 Kolmogorov-Arnold 表示定理的启示，KAN 通过可学习的基于样条的激活函数代替固定的激活函数，使其比传统模型如多层感知器和随机森林更有效地逼近复杂的非线性函数。我们在柔性 EHD 泵参数的数据集上评估了 KAN，并将其性能与 RF 和 MLP 模型进行了比较。KAN 取得了较高的预测准确性，在压力和流量预测方面的均方误差分别为 12.186 和 0.001。从 KAN 中提取的符号公式揭示了输入参数与泵性能之间的非线性关系。这些发现表明，KAN 具有出色的准确性和可解释性，使其成为电流体力泵预测建模中有希望的替代方法。

    May, 2024

  • KAGNNs: Kolmogorov-Arnold 网络遇上图学习

    最近几年，图神经网络 (GNNs) 成为学习节点和图表示的事实上的工具，该论文比较了 KANs 与 MLPs 在图学习任务中的性能，结果表明在分类任务方面两者相当，但在图回归任务上，KANs 具有明显优势。

    Jun, 2024

  • 展示科尔莫戈洛夫 - 阿诺德网络在视觉任务中的效力

    我们通过对 MNIST、CIFAR10 和 CIFAR100 数据集进行多次试验，使用批量大小为 32，证明了 Kolmogorov-Arnold Network（KAN）在视觉任务中的有效性。研究结果表明，KAN 在 CIFAR10 和 CIFAR100 上优于 MLP-Mixer，但稍逊于最先进的 ResNet-18。本研究揭示了 KAN 在图像分类任务中的潜力，并提出了进一步改进其性能的方向。

    Jun, 2024

  • rKAN: 理性 Kolmogorov-Arnold 网络

    本研究探索了使用有理函数作为 Kolmogorov-Arnold 网络的基础函数，并提出了两种不同的方法，基于 Pade 逼近和有理 Jacobi 函数作为可训练的基础函数，建立了有理 KAN (rKAN)。然后，我们评估了 rKAN 在各种深度学习和物理推断任务中的性能，以证明其在函数逼近中的实用性和有效性。

    Jun, 2024