KAGNNs: Kolmogorov-Arnold 网络遇上图学习
Kolmogorov-Arnold Networks (KANs) are proposed as alternatives to Multi-Layer Perceptrons (MLPs), outperforming them in terms of accuracy and interpretability, while possessing faster neural scaling laws; KANs have potential to improve current deep learning models.
Apr, 2024
我们引入了图科尔莫哥洛夫 - 阿诺德网络(GKAN),一种创新的神经网络架构,它扩展了最近提出的科尔莫哥洛夫 - 阿诺德网络(KAN)的原理,用于图结构化数据。通过采用 KAN 的独特特性,尤其是使用可学习的单变量函数而不是固定线性权重,我们为基于图的学习任务开发了一个强大的模型。
Jun, 2024
大量的应用涉及嵌入在非欧几里得空间中的具有潜在关系的数据。图神经网络 (GNNs) 用于通过捕捉图中的依赖关系来提取特征。尽管具有突破性的性能,但我们认为多层感知器 (MLPs) 和固定激活函数阻碍了特征提取,因为信息丢失。受科尔莫戈洛夫 - 阿诺德网络 (KANs) 的启发,我们首次尝试将 GNN 与 KANs 结合使用。我们放弃了 MLPs 和激活函数,而是使用 KANs 进行特征提取。实验证明了 GraphKAN 的有效性,强调了 KANs 作为强大工具的潜力.
Jun, 2024
Graph neural network 模型 GKAN 通过使用基于样条函数的边缘激活函数,提高了准确性和解释性,在节点分类、链接预测和图分类任务上胜过了最先进的图神经网络模型。此外,GKAN 的设计本身提供了对模型决策过程的清晰见解,消除了事后解释性技术的需求。
Jun, 2024
本文在真实的表格式数据集上进行了 Kolmogorov-Arnold Networks (KANs) 和 Multi-Layer Perceptrons (MLPs) 的基准测试研究,结果显示 KANs 在处理复杂数据时表现出色,但相较于可比较大小的 MLPs,其计算成本较高。
Jun, 2024
通过将 Kolmogorov-Arnold Networks (KANs) 应用于时间序列预测,利用它们的自适应激活函数来增强预测建模能力。证明了在实际卫星流量预测任务中,KANs 相对于传统的多层感知机 (MLPs) 能够以更准确的结果和更少的可学习参数提供更好的性能。此外,还对 KAN-specific 参数的影响进行了深入研究,为自适应预测模型开辟了新的途径,强调了 KANs 作为强大预测分析工具的潜力。
May, 2024
这篇论文提出了卷积科尔莫戈洛夫 - 阿诺德网络(Convolutional KANs),这是标准卷积神经网络(CNN)的一种创新替代方法,我们将科尔莫戈洛夫 - 阿诺德网络(KANs)中的非线性激活函数集成到卷积中,构建出一个新的层。我们在 MNIST 和 Fashion-MNIST 基准测试中对 Convolutional KANs 的性能进行了实证验证,表明这种新方法在准确性方面保持了类似水平,同时只使用了一半的参数。这种参数量的显著减少打开了推进神经网络架构优化的新途径。
Jun, 2024
我们通过对 MNIST、CIFAR10 和 CIFAR100 数据集进行多次试验,使用批量大小为 32,证明了 Kolmogorov-Arnold Network(KAN)在视觉任务中的有效性。研究结果表明,KAN 在 CIFAR10 和 CIFAR100 上优于 MLP-Mixer,但稍逊于最先进的 ResNet-18。本研究揭示了 KAN 在图像分类任务中的潜力,并提出了进一步改进其性能的方向。
Jun, 2024
研究使用具有固定网络拓扑结构的 Kolmogorov-Arnold 网络(KAN)作为传统多层感知器(MLP)架构的高效可解释替代方法,探讨了 KAN 中平滑性的相关性,并提出了在特定函数类中,具有平滑且结构知情的 KAN 可以达到与 MLP 相等的效果,从而减少训练所需的数据,并降低生成虚假预测的风险,从而提高计算生物医学模型的可靠性和性能。
May, 2024
基于 Kolmogorov-Arnold Networks (KANs) 和 Long Short-Term Memory (LSTM) 的启发,我们提出了一种新的神经网络架构,Temporal Kolomogorov-Arnold Networks (TKANs),通过整合两种网络,TKANs 在具备记忆管理的 Recurring Kolmogorov-Arnold Networks (RKANs) 层中实现了多步时间序列预测,并提供了对复杂序列模式处理的改进,为超前预测领域的进展提供了显著潜力。
May, 2024