Kolmogorov-Arnold Networks (KANs) are proposed as alternatives to Multi-Layer Perceptrons (MLPs), outperforming them in terms of accuracy and interpretability, while possessing faster neural scaling laws; KANs have potential to improve current deep learning models.

Apr, 2024

KANs被引入作为MLP的替代表征模型，本研究中，我们应用KANs构建了PIKANs和DeepOKANs用于解决正向和逆向微分方程问题，与基于标准MLP表征的PINNs和DeepONets进行对比，发现虽然基于B-splines参数化的原始KANs精度和效率较低，但基于低阶正交多项式的修改版本性能与PINNs和DeepONet相当，尽管这些版本仍然缺乏稳健性，因为它们可能对不同的随机种子或更高阶的正交多项式发散。我们通过信息瓶颈理论可视化了相应的损失态势并分析了他们的学习动态。本研究符合FAIR原则，其他研究者可以利用我们的基准来进一步推动这个新兴领域。

Jun, 2024

利用物理知情机器学习（PIML）领域开发模型来预测航空发动机的剩余寿命，采用C-MAPSS数据集，使用随机方法估计C-MAPSS数据的物理模型并将其应用于LSTM模型，结果表明PIML方法在这个问题上表现优异，同时该框架灵活性高，适用于其他情况。

Jun, 2024

使用有限基础Kolmogorov-Arnold网络（FBKANs）和域分解方法，可以通过在并行中训练多个小型网络来解决多尺度问题，得到对噪声数据和物理相关训练具有准确结果的科学机器学习方法。

Jun, 2024

通过将Kolmogorov-Arnold网络作为神经常微分方程框架的主体，本文展示了KAN-ODE在时间依赖和网格敏感的科学机器学习应用中的灵活动力系统建模能力，并证明了相比于多层感知机，KAN-ODE具有更快的神经扩展速度、更强的解释性以及更少的参数个数。作者通过三个测试案例展示了KAN-ODE的优势，并通过激活函数可视化和训练结果符号回归显示了KAN-ODE的可解释性。KAN-ODE的成功训练和相对传统Neural ODE的改进性能暗示其在各种科学机器学习应用中具有重要潜力。

Jul, 2024

本研究针对高能物理中典型的二元事件分类任务，探讨了科尔莫戈洛夫-阿诺德网络(KAN)作为多层感知器的替代方案。研究表明，KANs的激活函数能够学到输入特征的对数似然比，而较深的KAN网络能够学习到更复杂的数据表示，尽管小型KAN在可解释性方面具有优势，但在参数效率上未必超越多层感知器。

Aug, 2024

本研究解决了人工智能与科学之间的相互不兼容的问题，提出了一种框架，以实现科尔莫哥洛夫-阿诺德网络（KANs）与科学的无缝协作。通过新工具pykan，尤其是MultKAN、kanpiler和树转换器，研究显示KANs能够有效发现物理定律，为科学发现开辟了新的途径。

Aug, 2024

本综述解决了机器学习与物理知识结合以提高预测模型的问题，特别关注偏微分方程的方法。通过在结构、目标函数和数据增强方面引入物理知识，以及将数据视为物理知识，研究提出了多任务、元学习等数据驱动的新方法，展示了这些方法在科学研究和工业实践中的潜在影响。

Aug, 2024

本研究解决了在数据稀缺环境下，多层感知器（MLPs）和 Kolmogorov-Arnold 网络（KANs）之间的有效性差异问题。通过引入具有参数化激活函数的 MLP 设计方法，研究表明在样本量仅为一百左右的情况下，个性化激活函数的 MLP 在预测准确性上显著优于 KAN，提供了关于激活函数选择对神经网络影响的新见解。

Sep, 2024

本研究针对Kolmogorov-Arnold网络（KAN）与多层感知机（MLP）的对比进行了深入的理论探讨，尤其是在表达和近似能力方面。研究发现，尽管KAN的近似和表示能力与MLP相当，但在处理高频成分时，KAN展现出更低的谱偏差，且具备更高的效率，长期来看可为科学计算问题提供更优的解决方案。

Oct, 2024