Nov, 2018

基于推广 PolyDot 码的矩阵乘法统一编码深度神经网络训练策略

PDF
TL;DR本文提出 “Generalized PolyDot codes” 编码矩阵乘法技术，以解决 DNN 训练过程中软错误的问题，并实现了一种完全去中心化的实现方案，该方案能够比复制方案和预备的 MDS 编码方案提供无限制的容错收益。
coded matrix multiplicationgeneralized polydot codesdeep neural networkssoft-errorsdecentralized implementation
发现论文，激发创造
  • 编码矩阵乘法的最优恢复阈值

    本文提出新的编码计算策略以用于分布式矩阵乘法，比最近的多项式编码中的恢复阈值更高，我们的 MatDot 编码只需要 2m-1 个成功的工作节点，而不是 m² 个，尽管会带来更高的通信代价。此外，我们还提出了 PolyDot 编码来权衡通信代价和恢复阈值，并通过应用 MatDot 和 PolyDot 编码思想，演示了一种用于矩阵乘法的编码技术。

    Jan, 2018

  • 多项式码：高维编码矩阵乘法的最优设计

    本研究提出了一种叫做 “多项式编码” 的计算策略，使用分布式系统（由主节点和多个工作节点组成）来进行大规模矩阵乘法计算，并通过利用编码理论的思想在工作节点上设计中间计算，以有效地处理延迟的工作节点，从而实现了恢复阈值的最优化，并在分布式卷积方面进行了扩展，以提高计算效率。

    May, 2017

  • 使用编码加速分布式机器学习

    探究编码算法在分布式机器学习中的应用，研究矩阵乘法和数据洗牌两种算法中应用编码技术减少 straggler 和 communication bottlenecks 时的优化效果，理论分析和实验结果均证明编码算法具有显著的优势。

    Dec, 2015

  • StrassenNets：带有乘法预算的深度学习

    本研究介绍了一种使用二层求和乘积网络（SPN）的方法，通过学习从数据中的边缘权重（三元）来获得深度神经网络（DNN）层中矩阵乘法的低成本近似，同时应用知识蒸馏，实现对 DNN 中乘法操作数量的预算，从而在保持预测性能的同时，实现乘法操作数量的大幅度减少。

    Dec, 2017

  • 编码稀疏矩阵乘法

    本文提出了一种名为 “sparse code” 的新的编码计算策略，旨在在大规模分布式矩阵乘法问题中处理分布式计算过程中的延迟问题和极高的计算损耗，实验结果证明了该策略比传统编码策略和未编码情况下的方法效果更好。

    Feb, 2018

  • 用于分布式计算和滞后服务器的块对角和 LT 编码

    本文介绍两种分布式计算方案：基于 MDS 代码的矩阵乘法分块编码方案和基于 Luby Transform 码的 inactivation 译码方案。数值结果表明，本文所提出的方案在截止日期内的性能优于文献中的其他方案。

    Dec, 2017

  • NeuralMatrix：将整个神经网络转换为通用矩阵乘法以实现高效推断

    本研究提出了一种新的框架 NeuralMatrix，可以在一个单一的通用矩阵乘法加速器上计算多功能的深度神经网络，同时在性能和特定应用的加速水平方面与 CPU 和 GPU 等通用处理器相比具有优势。

    May, 2023

  • 少乘法的神经网络

    研究二值化训练和量化方法在神经网络训练中的应用，通过在 MNIST、CIFAR10、SVHN 三个数据集上的实验证明，这种方法不仅不会降低分类性能，反而可以实现比标准随机梯度下降训练更好的性能

    Oct, 2015

  • 基于分区的极化码深度学习解码的规模化

    本文研究了基于神经网络的通道解码在处理大代码本的传统方法中的运用，通过将编码图分成小的子块，并对其进行单独训练，最大限度地接近每个子块的最大后验性能，然后通过传统的置信传播译码阶段连接这些块，从而实现高度并行化，展现了具有竞争性的误比特率表现。

    Feb, 2017

  • Short-Dot”: 使用编码短点积分布式计算大规模线性变换

    本文介绍了一种基于编码理论的新技术，名为‘Short-Dot’，通过引入冗余计算来解决分布式计算中遇到的异常缓慢的处理器（即‘stragglers’）问题，并且相较于传统方案，Short-Dot 能够在减少计算、存储和通讯成本的同时提升计算速度和效率。

    Apr, 2017