Feb, 2016

基于随机哈希的可扩展可持续深度学习

PDF
TL;DR提出了一种基于哈希的新技术，通过只处理少量的节点来显著降低训练和测试深度神经网络的计算成本，该算法只使用了原始模型总乘法数的 5％，同时保持平均精度在 1％以内，其更新始终是稀疏的，使得算法非常适合异步和并行训练，端到端实验展示了该算法的可扩展性和可持续性。
deep learningmatrix multiplicationhashingcomputational efficiencysparse gradient updates
发现论文，激发创造
  • 使用哈希技巧压缩神经网络

    本研究提出了 HashedNets 这一新型网络结构，在使用深度学习技术进行移动设备应用时，可以通过哈希函数来分组并共享连接权重参数，进而大幅缩小神经网络所需的存储空间，而不会明显影响其泛化性能。

    Apr, 2015

  • 基于采样技术的深度神经网络训练方法在计算资源有限情况下的可拓展性评估

    本文通过在大规模 CPU 机器上评估近似矩阵乘法的两种采样方法，提供了负面的理论分析，这表明前馈逼近是可扩展性的障碍。作者指出基于哈希的节点选择方法不能扩展到大量层数，并确定了未来研究的方向。

    Jun, 2023

  • 具有大输出空间的深度网络

    本文提出了一种快速局部敏感哈希技术以近似实际点积，使我们能够将训练和推理扩展到数百万个输出类，并在三个不同的大规模识别任务上验证了我们的方法，表明与基线方法相比，我们的方法能以更快的速度（以步骤 / 总时间为单位）训练大规模模型。

    Dec, 2014

  • 基于私有设备局部敏感哈希的大规模分布式学习

    使用新的哈希函数族，开发第一个在设备上具有私密性、个性化和内存效率高的局部敏感哈希框架，实现了隐私和个性化，能够与其他 LSH 框架相竞争，训练大规模推荐网络。

    Jun, 2023

  • 用于大型稀疏模型的哈希层

    本研究通过使用哈希方法对大型 Transformer 模型中使用不同输入参数的稀疏层进行了训练，通过修改前馈层对序列中的当前标记进行哈希以便将其哈希到不同的权重集中，进一步证明此方法可以在不需要额外路由参数或负载平衡损失等的情况下超越或与 Switch Transformers 和 BASE Layers 等学习路由混合专家方法竞争，同时研究了不同的哈希技术、哈希大小和输入特征的表现，并表明了本研究的方法可以在大规模语言建模和对话任务、下游微调任务中表现出色。

    Jun, 2021

  • 模型压缩的结构化多哈希技术

    本文介绍了一种基于哈希和降维的结构化多哈希方法，可用于控制任何深度网络的模型大小，从而大幅减少可学习变量且依旧保持较高的精度。作者在 ResNet，EfficientNet 和 MobileNet 等结构中进行了压缩，并且在 CIFAR10 数据集上仅损失 10％而使 ResNet32 模型减少了 75％。

    Nov, 2019

  • 通过矩阵反向传播训练具有结构层的深度网络

    本文提出了一种将全局结构化计算形式化整合到深度计算架构中的方法，其核心是开发了一种新的基于矩阵变化的 backpropagation 理论和实践，该方法广泛适用于机器学习或计算感知问题，我们在 BSDS 和 MSCOCO 基准测试中执行视觉分割实验，结果表明端到端训练的基于第二阶池化和归一化切割层的深度网络，使用矩阵反向传播优于没有利用全局层的对应网络。

    Sep, 2015

  • 具有结构化数据的高效异步随机梯度算法

    该研究探讨了通过 Kronecker 结构加速训练数据输入的方法，从而在数据维度的次线性时间内完成每次迭代。

    May, 2023

  • 抖动反向传播：一种用于更高效深度神经网络训练的稀疏量化反向传播算法

    本篇论文提出了一种名为 Dithered Backprop 的降低了反向传播的计算成本的方法，该方法利用一种被称为非减少抖动的量化方法诱导了稀疏性，从而可以通过计算高效的稀疏矩阵乘法来利用它，并证明该方法对于一些图像分类任务而言可以在不降低准确性的情况下实现 92％的稀疏性，同时与现有的 8 位训练方法完全兼容，因此能够进一步降低计算要求。

    Apr, 2020

  • 深度哈希：图像签名学习的联合方法

    本文提出一种新的算法，该算法同时执行特征工程和非线性监督哈希函数学习，使用预训练和指数哈希损失函数，实现了有效的梯度计算和传播，并在数个广泛使用的图像基准测试中实现了全面的定量评估。实验结果表明，我们的算法明显优于所有现有的最先进的竞争对手，特别是在 MNIST 数据集上实现了近乎完美的 0.99 和 CIFAR10 数据集上的 0.74 的新记录。

    Aug, 2016