Dec, 2022

深度神经网络中计算图的高效可视化简化

PDF
TL;DR提出了使用可视化简化技术的交互式可视化系统，并将其集成到开源的 DNN 可视化工具包 MindInsight 中，以帮助减少计算图的元素，增强识别和诊断 DNN 模型的性能。
computational graphdeep neural networkdata flow diagramvisualizationperformance
发现论文，激发创造
  • DAG-DNNs 函数的表示和分解与结构网络剪枝

    通过 DAG-DNN 框架的分解结构，能够将深度神经网络的所有函数分别应用在网络的子结构中，从而实现系统性地结构修剪，进一步得出了基于交错方阵的网络修剪方法。

    Jun, 2023

  • 具有动态计算图的深度学习

    介绍了一种称为 “dynamic batching” 的技术，它可以通过组合块来简化动态图形模型的创建，并支持各种不同类型的输入图形的批处理实现。

    Feb, 2017

  • 深度图库：面向图的、高性能的图神经网络包

    本文介绍了 Deep Graph Library（DGL）的设计原则和实现方法，DGL 将 GNNs 的计算模式提炼成几个泛化的稀疏张量操作，适合大规模并行化。DGL 以图形为中心编程抽象，能够透明地进行优化。同时 DGL 采用了框架中立的设计，允许用户在多个深度学习框架中轻松移植和利用现有的组件。我们的评估表明，在各种基准测试中，DGL 在速度和内存消耗方面都显著优于其他流行的面向 GNNs 的框架，并且对于小规模工作负载的开销很小。

    Sep, 2019

  • 通过结构简化实现高效的点云图神经网络

    本文提出了使用轻量级的特征提取层来提高图神经网络模型的效率，从而能够在移动设备上高效地运行，同时实现了一定的性能提升和资源消耗降低。

    Aug, 2021

  • 深度神经网络作为复杂网络

    本文运用复杂网络理论将 DNN 表示为一个有向带权图，并介绍了一些度量方法，可以研究 DNN 作为动力学系统的性能，并发现度量方法可以区分低性能和高性能网络。

    Sep, 2022

  • 费曼图作为计算图

    通过计算图表示高阶费曼图在量子场论中的应用，利用图张量运算构建了类似分形结构的结构，显著减少了计算冗余，结合机器学习技术的自动微分技术有效地优化了计算图，在各种计算平台上开发了费曼图编译器，实现了在金属密度下计算准粒子有效质量的高度精确度，展示了量子场论和机器学习的相互作用，为解决复杂量子多体问题提供了一条新的途径。

    Feb, 2024

  • 简化图卷积网络

    通过消除 GCN 中的不必要的非线性和权重矩阵，我们提出了一种线性模型，它对应于一个固定的低通滤波器，然后是一个线性分类器。 在许多下游应用中，我们的实验评估表明这种简化并不会对精度产生负面影响。 此外，由于我们的模型简化减少了计算量，因此我们的模型在更大的数据集上具有可扩展性，并且具有更快的推理速度。

    Feb, 2019

  • 深度神经网络的有效处理：教程和概述

    本文综述了目前深度神经网络的应用及其在计算机视觉、语音识别、机器人等 AI 任务中的高精度表现，同时也阐述了深度神经网络大规模部署所面临的高算力成本和能效问题，并提出了硬件设计、算法优化等多种解决方案以提高能效和算力，最后对比了各种深度神经网络的设计指标并展示了很多发展资源。

    Mar, 2017

  • 图元网络：自适应、结构化的计算和记忆

    本文探讨了使用图神经网络模拟没有先验图形结构的空间过程，以及通过计算优化和泛化学习输入输出关系等相关问题。

    Apr, 2019

  • 图神经网络综述

    该论文综述了图神经网络在数据挖掘和机器学习领域的广泛应用，提出了四种图神经网络的分类，并讨论了在各个领域中的应用以及图神经网络的开放源代码、基准数据集和模型评估，并提出了该领域的潜在研究方向。

    Jan, 2019