Jun, 2024

利用 KANs 提升深度库普曼算子发现

PDF
TL;DR利用 KANs 和 MLP DNNs 进行了深度 Koopman 理论的比较，结果显示 KANs 在训练速度、参数效率和预测准确性方面都优于 MLP DNNs，表现出在深度 Koopman 理论发展中的潜力。
发现论文，激发创造
  • MLP 和 KAN 表示方法在微分方程和操作网络中的全面公正比较

    KANs 被引入作为 MLP 的替代表征模型，本研究中，我们应用 KANs 构建了 PIKANs 和 DeepOKANs 用于解决正向和逆向微分方程问题，与基于标准 MLP 表征的 PINNs 和 DeepONets 进行对比，发现虽然基于 B-splines 参数化的原始 KANs 精度和效率较低，但基于低阶正交多项式的修改版本性能与 PINNs 和 DeepONet 相当，尽管这些版本仍然缺乏稳健性，因为它们可能对不同的随机种子或更高阶的正交多项式发散。我们通过信息瓶颈理论可视化了相应的损失态势并分析了他们的学习动态。本研究符合 FAIR 原则，其他研究者可以利用我们的基准来进一步推动这个新兴领域。

    Jun, 2024

  • KAN：科尔莫哥洛夫－阿诺德网络

    Kolmogorov-Arnold Networks (KANs) are proposed as alternatives to Multi-Layer Perceptrons (MLPs), outperforming them in terms of accuracy and interpretability, while possessing faster neural scaling laws; KANs have potential to improve current deep learning models.

    Apr, 2024

  • 展示科尔莫戈洛夫 - 阿诺德网络在视觉任务中的效力

    我们通过对 MNIST、CIFAR10 和 CIFAR100 数据集进行多次试验，使用批量大小为 32，证明了 Kolmogorov-Arnold Network（KAN）在视觉任务中的有效性。研究结果表明，KAN 在 CIFAR10 和 CIFAR100 上优于 MLP-Mixer，但稍逊于最先进的 ResNet-18。本研究揭示了 KAN 在图像分类任务中的潜力，并提出了进一步改进其性能的方向。

    Jun, 2024

  • 基于表格数据的 Kolmogorov-Arnold 网络的基准研究

    本文在真实的表格式数据集上进行了 Kolmogorov-Arnold Networks (KANs) 和 Multi-Layer Perceptrons (MLPs) 的基准测试研究，结果显示 KANs 在处理复杂数据时表现出色，但相较于可比较大小的 MLPs，其计算成本较高。

    Jun, 2024

  • 深度学习神经网络表征非线性动力系统的 Koopman 算符

    这篇文章提出了一种基于深度学习的方法来学习非线性动力学系统的 Koopman 算子，自动选择高效的深度字典来描述这些系统，并成功预测了未来 100 步的量化预测和 400 步的定性振荡行为。

    Aug, 2017

  • Kolmogorov-Arnold 网络（KANs）用于时间序列分析

    通过将 Kolmogorov-Arnold Networks (KANs) 应用于时间序列预测，利用它们的自适应激活函数来增强预测建模能力。证明了在实际卫星流量预测任务中，KANs 相对于传统的多层感知机 (MLPs) 能够以更准确的结果和更少的可学习参数提供更好的性能。此外，还对 KAN-specific 参数的影响进行了深入研究，为自适应预测模型开辟了新的途径，强调了 KANs 作为强大预测分析工具的潜力。

    May, 2024

  • KAN 在计算机视觉中的适用性：初步调查

    Kolmogorov-Arnold Networks (KANs) are evaluated for visual modeling in image recognition tasks, comparing their performance and efficiency with conventional models, highlighting their potential and areas for further research.

    Jun, 2024

  • 平滑的科尔莫戈洛夫・阿诺德网络启用结构知识表征

    研究使用具有固定网络拓扑结构的 Kolmogorov-Arnold 网络（KAN）作为传统多层感知器（MLP）架构的高效可解释替代方法，探讨了 KAN 中平滑性的相关性，并提出了在特定函数类中，具有平滑且结构知情的 KAN 可以达到与 MLP 相等的效果，从而减少训练所需的数据，并降低生成虚假预测的风险，从而提高计算生物医学模型的可靠性和性能。

    May, 2024

  • 学习组合 Koopman 算子用于基于模型的控制

    本文提出了使用图神经网络对对象进行编码，使用分块的线性转移矩阵来规范化对象之间的共享结构，从而学习组合型 Koopman 操作符，以实现非定常系统的建模与控制。我们的实验结果表明，与现有的基线相比，所提出的方法具有更好的效率和泛化能力。

    Oct, 2019

  • KAGNNs: Kolmogorov-Arnold 网络遇上图学习

    最近几年，图神经网络 (GNNs) 成为学习节点和图表示的事实上的工具，该论文比较了 KANs 与 MLPs 在图学习任务中的性能，结果表明在分类任务方面两者相当，但在图回归任务上，KANs 具有明显优势。

    Jun, 2024