Jul, 2023

DyCL: 通过程序重写和图优化实现动态神经网络编译

PDF
TL;DR提出一种名为 “ool” 的方法，通过程序分析和转换技术将动态神经网络转化为多个子神经网络，使得现有的 DL 编译器成功编译动态神经网络实现更好的性能。
dl compilerdynamic neural networksprogram analysisprogram transformationperformance
发现论文，激发创造
  • 自适应神经编译

    该论文提出了一种自适应神经编译框架来解决高效节目的学习问题，并展示了如何使用可微表示将程序编译为不同 iable 的表示，并通过考虑输入数据分布来优化这种表示，以实现为给定数据分布学习特定调整算法的目标。

    May, 2016

  • 动态神经网络工具包 DyNet

    DyNet 是一个基于动态声明网络结构的神经网络模型工具包，其动态声明策略通过执行计算网络输出的程序代码来隐式构建计算图，使得实现更复杂的网络体系结构变得更加容易，并且通过优化的 C++ 后端和轻量级图表示实现低开销的计算图构建。

    Jan, 2017

  • 深度学习编译器：综述

    本研究综合调查了现有的 DL 编译器，重点关注了 DL 导向的多层 IR 设计和前端 / 后端优化，提供了各方面的全面比较，并且阐述了常见的优化技术以及潜在的研究方向。

    Feb, 2020

  • 提升神经网络以反编译优化二进制文件

    本文介绍了一种新的学习方法，称为 NeurDP，以处理被编译优化的二进制文件的反编译问题，并以图神经网络模型将低级程序语言转换为中间表示，从而实现更好的翻译性能，经评估结果表明，NeurDP 可以比最先进的神经反编译框架的准确率高出 45.21%。

    Jan, 2023

  • Chameleon: 适应性代码优化，用于加速深度神经网络编译

    研究使用适应性采样算法与强化学习进行代码优化，提出了一种名为 “Chameleon” 的解决方案，利用该方案可以大幅缩短优化时间，提高现代深度网络的推理速度。

    Jan, 2020

  • 动态计算图中即时操作批处理

    该论文介绍了在动态神经网络工具包 DyNet 中为自动批处理操作而注入的算法，并通过多项任务验证它可获得类似于手动批处理操作的通过效率和相当的加速。

    May, 2017

  • 动态深度神经网络：通过选择性执行优化精度 - 效率平衡

    介绍一种名为 D2NN 的动态深度神经网络，其允许对输入进行选择性执行以优化计算效率，同时借助控制器模块和整合强化学习的反向传播算法进行端到端训练以优化精度和效率。

    Jan, 2017

  • Glow: 神经网络图降编译技术

    本文介绍了 Glow，一种用于异构硬件的机器学习编译器，旨在实现多目标高度优化的代码生成，主要通过不同层次的中间表示来实现基于域和内存的优化。

    May, 2018

  • ACRoBat：动态深度学习的编译时自动批处理优化

    本文介绍了一种名为 ACRoBat 的混合静态 + 动态编译优化和端到端张量代码生成的框架，以实现对动态深度学习计算的高效自动批处理，相比自动批处理的最新框架 DyNet，ACRoBat 在 Nvidia GeForce RTX 3070 GPU 上表现提升了 8.5 倍。

    May, 2023

  • 面向神经网络推理加速的编译器和 FPGA 叠加

    本研究介绍一种针对深度神经网络推理的覆盖层，通过引入一种轻量级的超长指令字（VLIW）网络支持控制和重新编程逻辑，以及实现了一个复杂的特定领域的图形编译器，以显著提高 CNNs/RNNs 的性能，最终在 Intel Arria 10 1150 上实现了～900 fps，并且对比以往研究，在性能方面有了巨大的进步。

    Jul, 2018