Jun, 2024

GraphKAN: 用图科尔莫戈洛夫阿诺德网络增强特征提取

PDF
TL;DR大量的应用涉及嵌入在非欧几里得空间中的具有潜在关系的数据。图神经网络 (GNNs) 用于通过捕捉图中的依赖关系来提取特征。尽管具有突破性的性能，但我们认为多层感知器 (MLPs) 和固定激活函数阻碍了特征提取，因为信息丢失。受科尔莫戈洛夫 - 阿诺德网络 (KANs) 的启发，我们首次尝试将 GNN 与 KANs 结合使用。我们放弃了 MLPs 和激活函数，而是使用 KANs 进行特征提取。实验证明了 GraphKAN 的有效性，强调了 KANs 作为强大工具的潜力.
datagraph neural networkskolmogorov arnold networksfeature extractiongraphkan
发现论文，激发创造
  • 图科尔莫戈洛夫 - 阿诺德网络

    我们引入了图科尔莫哥洛夫 - 阿诺德网络（GKAN），一种创新的神经网络架构，它扩展了最近提出的科尔莫哥洛夫 - 阿诺德网络（KAN）的原理，用于图结构化数据。通过采用 KAN 的独特特性，尤其是使用可学习的单变量函数而不是固定线性权重，我们为基于图的学习任务开发了一个强大的模型。

    Jun, 2024

  • 科尔莫戈洛夫 - 阿诺德图神经网络

    Graph neural network 模型 GKAN 通过使用基于样条函数的边缘激活函数，提高了准确性和解释性，在节点分类、链接预测和图分类任务上胜过了最先进的图神经网络模型。此外，GKAN 的设计本身提供了对模型决策过程的清晰见解，消除了事后解释性技术的需求。

    Jun, 2024

  • KAGNNs: Kolmogorov-Arnold 网络遇上图学习

    最近几年，图神经网络 (GNNs) 成为学习节点和图表示的事实上的工具，该论文比较了 KANs 与 MLPs 在图学习任务中的性能，结果表明在分类任务方面两者相当，但在图回归任务上，KANs 具有明显优势。

    Jun, 2024

  • KAN：科尔莫哥洛夫－阿诺德网络

    Kolmogorov-Arnold Networks (KANs) are proposed as alternatives to Multi-Layer Perceptrons (MLPs), outperforming them in terms of accuracy and interpretability, while possessing faster neural scaling laws; KANs have potential to improve current deep learning models.

    Apr, 2024

  • Kolmogorov-Arnold 网络（KANs）用于时间序列分析

    通过将 Kolmogorov-Arnold Networks (KANs) 应用于时间序列预测，利用它们的自适应激活函数来增强预测建模能力。证明了在实际卫星流量预测任务中，KANs 相对于传统的多层感知机 (MLPs) 能够以更准确的结果和更少的可学习参数提供更好的性能。此外，还对 KAN-specific 参数的影响进行了深入研究，为自适应预测模型开辟了新的途径，强调了 KANs 作为强大预测分析工具的潜力。

    May, 2024

  • 以科尔莫戈洛夫 - 阿诺德网络（KANs）作为基于 IMU 的人体活动识别特征提取器的初步研究

    本研究探讨了一种新颖的神经网络架构，Kolmogorov-Arnold Networks（KANs），作为传感器（特别是 IMU）人体活动识别（HAR）的特征提取器。通过在每个节点的边缘上进行表示为 B-SPLINES 的非线性计算，并在节点处对输入进行求和，KANs 实现了非线性计算，而不是学习权重，系统学习样条参数。通过将 KAN 实现为 IMU 人体活动识别任务的特征提取架构，并包括四种架构变体，对 KAN 特征提取器在四个公共 HAR 数据集上进行了初步性能调查。结果表明，KAN 基于的特征提取器在所有数据集上优于基于 CNN 的提取器，并且参数更高效。

    Jun, 2024

  • 卷积科尔莫哥洛夫 - 阿诺德网络

    这篇论文提出了卷积科尔莫戈洛夫 - 阿诺德网络（Convolutional KANs），这是标准卷积神经网络（CNN）的一种创新替代方法，我们将科尔莫戈洛夫 - 阿诺德网络（KANs）中的非线性激活函数集成到卷积中，构建出一个新的层。我们在 MNIST 和 Fashion-MNIST 基准测试中对 Convolutional KANs 的性能进行了实证验证，表明这种新方法在准确性方面保持了类似水平，同时只使用了一半的参数。这种参数量的显著减少打开了推进神经网络架构优化的新途径。

    Jun, 2024

  • 展示科尔莫戈洛夫 - 阿诺德网络在视觉任务中的效力

    我们通过对 MNIST、CIFAR10 和 CIFAR100 数据集进行多次试验，使用批量大小为 32，证明了 Kolmogorov-Arnold Network（KAN）在视觉任务中的有效性。研究结果表明，KAN 在 CIFAR10 和 CIFAR100 上优于 MLP-Mixer，但稍逊于最先进的 ResNet-18。本研究揭示了 KAN 在图像分类任务中的潜力，并提出了进一步改进其性能的方向。

    Jun, 2024

  • KAN 在计算机视觉中的适用性：初步调查

    Kolmogorov-Arnold Networks (KANs) are evaluated for visual modeling in image recognition tasks, comparing their performance and efficiency with conventional models, highlighting their potential and areas for further research.

    Jun, 2024

  • 基于表格数据的 Kolmogorov-Arnold 网络的基准研究

    本文在真实的表格式数据集上进行了 Kolmogorov-Arnold Networks (KANs) 和 Multi-Layer Perceptrons (MLPs) 的基准测试研究，结果显示 KANs 在处理复杂数据时表现出色，但相较于可比较大小的 MLPs，其计算成本较高。

    Jun, 2024