Oct, 2020

探索半精度图卷积神经网络

PDF
TL;DR本研究通过在 GPU 上使用 PyTorch 框架实现了一种基于 Tensor Cores 的降低精度操作，以提高图形卷积神经网络的计算和内存使用效率，结果表明这种方法可以在不降低性能的情况下有效减少内存使用量。
graph analysismachine learningreduced-precision operationstensor coresgraph convolutional neural networks
发现论文，激发创造
  • 深度神经网络有界内存的降低精度策略

    该研究考虑了使用不同精度数据的卷积神经网络对其分类准确性的影响，发现误差容限不仅在不同网络之间有差异，而且在网络内部也有变化；进一步提出了一种方法，可以找到网络的低精度配置，同时保持高准确性。研究表明，相对于在所有层中使用 32 位浮点表示的传统实现，数据足迹可以平均减少 74％，最高可降至 92％，而相对准确性损失不到 1％。

    Nov, 2015

  • 迈向更深的图神经网络

    本研究对图神经网络进行深入探究，提出了解决深度学习中过度平滑问题的新方法，并通过实验证明了其在引文、合著和共同购买等领域的卓越表现。

    Jul, 2020

  • 针对科学应用的图神经网络操作水平性能基准测试

    通过在 PyTorch Geometric 软件框架中实现科学计算所需的低级操作并在 NVIDIA A100 GPU 上进行基准测试，我们发现在专用硬件平台上具有关键作用的操作时限制内存效率的瓶颈而不仅仅是数据稀疏性，希望这些结果能成为此类操作的基准，并有助于未来的软件和硬件优化，从而实现可扩展的 GNN 性能的整体增强。

    Jul, 2022

  • 使用 1000 层图神经网络进行训练

    本研究提出了可逆连接、分组卷积、权重绑定和平衡模型以提高图神经网络的内存和参数效率，并发现可逆连接结构与深层神经网络架构相结合，使得训练的过参数化 GNNs 在多个数据集上显著优于现有方法。

    Jun, 2021

  • 从不同的候选者学习，在张量核上优化降低精度卷积程序

    这篇论文提出了一种基于 Tensor Core 和 MMA 指令的卷积操作优化方法，该方法通过自动调度探索线程块和 warp 尺寸的搜索空间，包括寄存器级 Packing 和布局优化等选项，使用学习算法找到最佳调度，从而比现有技术在 Tensor Core 上实现了大幅度加速。

    Feb, 2022

  • 卷积神经网络的效率研究

    通过优化卷积神经网络架构和使用融合块核心技术，实现了计算效率和准确性的提升。

    Apr, 2024

  • 通过图缩减扩展图神经网络规模

    本文提出了一种使用图粗化来实现可扩展 GNN 训练的不同方法，详细介绍了图粗化操作的影响和选择方法，并表明图粗化也可看作一种正则化手段。实证结果表明，简单地应用成熟的粗化方法，可以将节点数降低到原来的十分之一而不会导致分类精度的明显下降。

    Jun, 2021

  • 可扩展的 Inception 图神经网络 (SIGN)

    本文提出了一种新的、高效且可扩展的图深度学习架构，通过使用不同尺寸的图卷积滤波器，绕过了图采样的必要性，从而允许极快速的训练和推理，同时在比对测试中展现了与其他最先进架构相竞争的表现，对于包含超过 1.1 亿个节点和 15 亿条边的公共图数据集 ogbn-papers100M 实现了最先进的结果。

    Apr, 2020

  • 边缘端的 GNN：在分布式边缘服务器上实现成本有效的图神经网络处理

    本文系统研究了多层异构边缘网络上的分布式图神经网络处理的成本优化，发现图神经网络的独特计算模式含有二次次模性质，在此基础上设计了基于图切割的迭代解法，并通过实验评估证明了其在成本降低、收敛速度等方面均具有优异性能。

    Oct, 2022

  • 深度卷积神经网络分析的改进

    本论文提出了一种基于可视化分析的方法，以更好地理解、诊断和改进深度卷积神经网络，并使用一些新的算法和技术来显示神经元和神经元群之间的多个方面和交互作用。

    Apr, 2016