BitGNN: 在 GPU 上释放二值图神经网络的性能潜能

May, 2023

BitGNN: 在 GPU 上释放二值图神经网络的性能潜能

BitGNN: Unleashing the Performance Potential of Binary Graph Neural Networks on GPUs

Jou-An Chen, Hsin-Hsuan Sung, Xipeng Shen, Sutanay Choudhury, Ang Li

TL;DR本研究提出了一种二进制图神经网络的高效推理后端的重新设计，旨在充分地发挥加速器硬件性能潜力；在实际图形中，使用 GCNs、GraphSAGE 和 GraphSAINT 的结果表明，使用相同的精度，所提出的技术比最先进的二进制 GNN 实现快 8-22 倍。

Abstract

Recent studies have shown that binary graph neural networks (GNNs) are promising for saving computations of GNNs through binarized tensors. Prior work, however, mainly focused on algorithm designs or training techniques, leaving it open to how to materialize the performance potential o

binary graph neural networks computation accelerator hardware bit manipulations efficiency

发现论文，激发创造

二元图神经网络

本论文探讨了将二值化技术应用于图神经网络的方法，并成功设计了能够在 Hamming 空间内快速构建动态图的模型，实现了在准确性轻微损失的代价下在嵌入式设备上取得了显著的存储空间和时间扩展的效果。

Dec, 2020

二值化图神经网络

本研究提出了一种基于二值网络参数的二值图神经网络模型，将其与现有的图嵌入方法相结合，可以提高模型效率和可扩展性，同时与当前最优性能相匹配。

Apr, 2020

使用图灵 GPU 中的位张量核加速二值神经网络

通过使用新一代 GPU 芯片中的张量核心实现 “二值神经网络” 设计中点乘和卷积的操作，使其在处理 ImageNet 数据集时比现有软件实现快出 77％，从而显著提高性能。

Jun, 2020

Bi-GCN: 二元图卷积网络

本文介绍了一种二进制图卷积神经网络（Bi-GCN），它将网络参数和输入节点特征进行二元化，并将原始矩阵乘法改为二进制运算以加速计算，并使用一种新的梯度逼近反向传播方法来训练我们的 Bi-GCN。实验表明，与全精度基线相比，Bi-GCN 在节省内存资源方面平均可以减少约 30 倍，并平均加速推理速度约 47 倍，并且该二进制方法还可以轻松应用于其他 GNNs。

Oct, 2020

二值化神经网络

本文介绍了一种对二值化神经网络进行训练的方法，并在 Torch7 和 Theano 两个框架下，对 MNIST、CIFAR-10 和 SVHN 数据集进行了实验，取得了近乎领先水平的结果。通过在前向传递过程中使用二值化的权重和激活值，可以大幅减少内存消耗，用位运算取代大多数算术运算，并且使用二进制矩阵乘法 GPU 内核可以比未优化的 GPU 内核快 7 倍，而不会损失分类准确度。

Feb, 2016

图计算加速器的实现

图神经网络在图结构数据上学习提供了一种新颖的机器学习范例，能够捕捉图数据中的复杂关系和依赖性，从而在社交网络分析、分子化学和网络安全等领域具有重要的影响。本论文旨在深入研究 GNN 与底层硬件的交互方式，并设计专用加速器和新型优化方法，以实现更高效和更快速的 GNN 计算。我们基于对 GNN 计算需求的特征化构建了先进的硬件加速器结构，同时扩展了对图神经网络领域中新型模型的探索，旨在提供不仅高性能而且能适应图计算发展的多功能加速器。

Dec, 2023

用于二进制规划的图神经网络

该研究探讨了图神经网络（GNNs）和二进制编程（BP）问题之间的联系，为 GNNs 在解决这些计算难题上提出了设计。通过分析 BP 问题的灵敏度，我们将 BP 问题的解决方案框架化为异质节点分类任务。随后，我们提出了 Binary-Programming GNN（BPGNN），一种将图表示学习技术与 BP 感知特征相结合的架构，以有效地近似 BP 解决方案。此外，我们引入了一种自我监督的数据生成机制，以便在处理大规模 BP 问题时实现高效和可操作的训练数据获取。对不同 BP 问题规模的 BPGNN 进行实验评估显示其性能优于穷举搜索和启发式方法。最后，我们讨论了 GNNs 在 BP 问题这个尚未充分探索的领域中的挑战。

Apr, 2024

二值化神经网络：训练深度神经网络，使权重和激活限制为 + 1 或 - 1

本篇论文介绍了一种通过二值化权重和激活训练神经网络的方法，并在 Torch7 和 Theano 框架上进行了实验，在 MNIST、CIFAR-10 和 SVHN 数据集上取得了接近最佳水平的结果。同时，作者提出了一种二进制矩阵乘法 GPU 核函数，使得 MNIST BNN 可以比优化前快 7 倍，而不影响分类准确性。

Feb, 2016

PhoneBit: 移动手机高效 GPU 加速二值神经网络推断引擎

本文提出了 PhoneBit，一种针对基于 Android 的移动设备的 GPU 加速二值神经网络推断引擎，旨在通过运用区别于桌面平台的架构，提出操作级优化方案，以挖掘移动 GPU 的计算能力，实现二值卷积的高效率，从而取得了相比移动设备上其它顶尖框架更为显著的速度加速和能量效率改进。

Dec, 2019

图神经网络加速综述：算法、系统和定制硬件

本次调查报告提供了图神经网络加速的分类法，并回顾了现有方法，并提出了未来的研究方向，以便统一视图和解决相关工作的复杂性。

Jun, 2023