图科尔莫戈洛夫-阿诺德网络
本研究提出了一种高效的图形卷积网络(GCN)训练框架L-GCN,该框架通过在训练期间解耦功能聚合和功能转换,大大降低了时间和内存复杂度,并提出了L²-GCN,用于每个层学习控制器,可以自动调整每个层的训练时期。实验表明,在不依赖于数据集大小的一致内存使用情况下,L-GCN比现有技术快至少一个数量级,同时保持可比的预测性能。
Mar, 2020
文章提出了一种新的基于向量量化技术的通用框架 VQ-GNN,为了解决图神经网络中的邻居爆炸问题和扩展性问题,该方法可以有效地保留所有传递给 mini-batch 的节点的信息,同时使用小量的量化参考向量和低秩图卷积矩阵进行图嵌入,同时该框架还设计了一种新的基于近似算法的信息传递算法和反向传播规则来优化模型性能,在节点分类和链接预测基准测试中表现出了可伸缩性和竞争力。
Oct, 2021
本研究提出一种名为BNS-GCN的简单而有效的方法,采用随机边界节点采样,提高了分布式GCN训练的吞吐量16.2倍,减少了内存使用量高达58%,同时保持全图精度的稳定性,为实现大规模GCN训练开辟了一条新的途径。
Mar, 2022
Kolmogorov-Arnold Networks (KANs) are proposed as alternatives to Multi-Layer Perceptrons (MLPs), outperforming them in terms of accuracy and interpretability, while possessing faster neural scaling laws; KANs have potential to improve current deep learning models.
Apr, 2024
通过对全图训练和小批量训练系统的综合实证比较,我们发现小批量训练系统在多个数据集、GNN模型和系统配置下都比全图训练系统更快地收敛,速度提升在2.4倍至15.2倍之间。我们还发现两种训练技术在准确度上趋于相似,因此从时间达到准确度的角度比较两种类别的系统是合理的。
Jun, 2024
这篇论文提出了卷积科尔莫戈洛夫-阿诺德网络(Convolutional KANs),这是标准卷积神经网络(CNN)的一种创新替代方法,我们将科尔莫戈洛夫-阿诺德网络(KANs)中的非线性激活函数集成到卷积中,构建出一个新的层。我们在MNIST和Fashion-MNIST基准测试中对Convolutional KANs的性能进行了实证验证,表明这种新方法在准确性方面保持了类似水平,同时只使用了一半的参数。这种参数量的显著减少打开了推进神经网络架构优化的新途径。
Jun, 2024
大量的应用涉及嵌入在非欧几里得空间中的具有潜在关系的数据.图神经网络(GNNs)用于通过捕捉图中的依赖关系来提取特征.尽管具有突破性的性能,但我们认为多层感知器(MLPs)和固定激活函数阻碍了特征提取,因为信息丢失.受科尔莫戈洛夫-阿诺德网络(KANs)的启发,我们首次尝试将GNN与KANs结合使用.我们放弃了MLPs和激活函数,而是使用KANs进行特征提取.实验证明了GraphKAN的有效性,强调了KANs作为强大工具的潜力.
Jun, 2024
Graph neural network模型GKAN通过使用基于样条函数的边缘激活函数,提高了准确性和解释性,在节点分类、链接预测和图分类任务上胜过了最先进的图神经网络模型。此外,GKAN的设计本身提供了对模型决策过程的清晰见解,消除了事后解释性技术的需求。
Jun, 2024
最近几年,图神经网络 (GNNs) 成为学习节点和图表示的事实上的工具,该论文比较了 KANs 与 MLPs 在图学习任务中的性能,结果表明在分类任务方面两者相当,但在图回归任务上,KANs 具有明显优势。
Jun, 2024
本研究解决了卷积神经网络在深层网络中难以有效捕捉长距离复杂非线性依赖的问题。通过在CNN框架中引入残差科尔莫戈罗夫-阿诺德网络(RKAN),并利用切比雪夫多项式作为KAN卷积的基础,我们实现了更具表达性和适应性的特征表示。研究结果表明,RKAN能够在视觉数据分析中增强深度CNN的能力。
Oct, 2024