分布式学习中的创新网络

May, 2024

An Innovative Networks in Federated Learning

Zavareh Bozorgasl, Hao Chen

TL;DR本论文介绍了 Wavelet Kolmogorov-Arnold Networks（Wav-KAN）在联邦学习中的开发和应用，并在客户端中实现了 Wav-KAN，通过连续小波变换和离散小波变换实现了多分辨率能力，帮助在客户端之间进行异构数据分布。通过在不同数据集上进行广泛实验，证明了 Wav-KAN 在可解释性、计算速度、训练和测试精度方面具有优越性。我们的联邦学习算法集成了基于小波的激活函数，通过权重、尺度和平移参数化，以提高本地和全局模型性能。结果显示，在计算效率、鲁棒性和准确性方面都有显著改进，突出了小波选择在可扩展神经网络设计中的有效性。

Abstract

This paper presents the development and application of Wavelet Kolmogorov-Arnold Networks (Wav-KAN) in federated learning. We implemented Wav-KAN \cite{wav-kan} in the clients. Indeed, we have considered both continuous

wavelet kolmogorov-arnold networks federated learning wavelet transform interpretability scalable neural network design

发现论文，激发创造

小波科尔莫哥洛夫 - 阿诺尔德网络 (Wav-KAN)

通过在 Kolmogorov-Arnold 网络结构中引入小波函数，Wav-KAN 提供了一种可解释性和性能得到提升的创新神经网络架构。

May, 2024

揭示小波的威力：一种基于小波的 Kolmogorov-Arnold 网络用于高光谱图像分类

该研究采用 Wavelet-based Kolmogorov-Arnold Network (wav-kan) 架构来进行高光谱图像分类，利用可学习的小波函数作为激活函数，实现对输入光谱特征的非线性映射，达到有效地捕捉多尺度空间和谱域模式的目的。实验结果表明，该方法在分类性能上优于传统的多层感知器和基于样条曲线的模型，并提出了进一步验证其泛化能力、捕捉尺度不变特征、降维技术对分类性能的影响、优化方法以及与其他同类模型比较的未来工作。

Jun, 2024

Kolmogorov-Arnold 网络（KANs）用于时间序列分析

通过将 Kolmogorov-Arnold Networks (KANs) 应用于时间序列预测，利用它们的自适应激活函数来增强预测建模能力。证明了在实际卫星流量预测任务中，KANs 相对于传统的多层感知机 (MLPs) 能够以更准确的结果和更少的可学习参数提供更好的性能。此外，还对 KAN-specific 参数的影响进行了深入研究，为自适应预测模型开辟了新的途径，强调了 KANs 作为强大预测分析工具的潜力。

May, 2024

科尔莫戈洛夫－阿诺德卷积：设计原则与实证研究

本文探讨了 Kolmogorov-Arnold Networks 在计算机视觉领域的应用，提出了参数高效的设计和微调算法，并在图像分类和分割任务中取得了最新成果。

Jul, 2024

fKAN：具有可训练雅可比基函数的分数阿诺德网络

该论文介绍了一种称为 Fractional Kolmogorov-Arnold Network（fKAN）的神经网络结构，它结合了 Kolmogorov-Arnold Networks（KANs）独特属性以及可训练的自适应分数正交 Jacobi 函数作为基本函数。通过利用分数 Jacobi 函数的独特数学特性，包括简单的导数公式、非多项式行为以及对正负输入值的活动性，该方法确保了高效的学习和提高的准确性。该论文通过在深度学习和基于物理的深度学习任务中进行评估，测试了该架构的性能，其中包括合成回归数据、图像分类、图像去噪以及情感分析。此外，对各种微分方程进行了性能测试，包括普通微分方程、偏微分方程和分数延迟微分方程。结果表明，将分数 Jacobi 函数整合到 KANs 中可以显著提高训练速度和在不同领域和应用中的性能。

Jun, 2024

卷积科尔莫哥洛夫 - 阿诺德网络

这篇论文提出了卷积科尔莫戈洛夫 - 阿诺德网络（Convolutional KANs），这是标准卷积神经网络（CNN）的一种创新替代方法，我们将科尔莫戈洛夫 - 阿诺德网络（KANs）中的非线性激活函数集成到卷积中，构建出一个新的层。我们在 MNIST 和 Fashion-MNIST 基准测试中对 Convolutional KANs 的性能进行了实证验证，表明这种新方法在准确性方面保持了类似水平，同时只使用了一半的参数。这种参数量的显著减少打开了推进神经网络架构优化的新途径。

Jun, 2024

rKAN: 理性 Kolmogorov-Arnold 网络

本研究探索了使用有理函数作为 Kolmogorov-Arnold 网络的基础函数，并提出了两种不同的方法，基于 Pade 逼近和有理 Jacobi 函数作为可训练的基础函数，建立了有理 KAN (rKAN)。然后，我们评估了 rKAN 在各种深度学习和物理推断任务中的性能，以证明其在函数逼近中的实用性和有效性。

Jun, 2024

时间序列的科尔莫戈洛夫 - 阿诺德网络：预测能力与可解释性之间的桥梁

Kolmogorov-Arnold Networks (KAN) 是 MIT 团队最近提出的一种划时代的模型，提供了一种具有改变游戏规则潜力的创新方法。本文探讨了 KAN 在时间序列预测中的应用，并提出了两个变体：T-KAN 和 MT-KAN。实验证实了这些方法的有效性，证明了它们在时间序列预测任务中显著优于传统方法，不仅提高了预测准确性，还改善了模型的可解释性。

Jun, 2024

展示科尔莫戈洛夫 - 阿诺德网络在视觉任务中的效力

我们通过对 MNIST、CIFAR10 和 CIFAR100 数据集进行多次试验，使用批量大小为 32，证明了 Kolmogorov-Arnold Network（KAN）在视觉任务中的有效性。研究结果表明，KAN 在 CIFAR10 和 CIFAR100 上优于 MLP-Mixer，但稍逊于最先进的 ResNet-18。本研究揭示了 KAN 在图像分类任务中的潜力，并提出了进一步改进其性能的方向。

Jun, 2024

KAN：科尔莫哥洛夫－阿诺德网络

Kolmogorov-Arnold Networks (KANs) are proposed as alternatives to Multi-Layer Perceptrons (MLPs), outperforming them in terms of accuracy and interpretability, while possessing faster neural scaling laws; KANs have potential to improve current deep learning models.

Apr, 2024