ICMLMar, 2013

通过随机化实现少量 RAM 的大规模学习

PDF
TL;DR采用随机化分离技术，将权重向量投影到粗离散集上，从而将流行的大规模在线学习方法的内存占用量降低 50% 以上；采用随机计数可以实现每个坐标单独的学习速率，具有很好的内存性能表现。这些内存节省方法的效果与精确的变体相当，且实验证明这些方法在内存与精度的权衡方面具有出色的性能。
large-scale online learningrandomized roundingmemory-saving methodsper-coordinate learning ratesregret guarantees
发现论文，激发创造
  • 有限数值精度下的深度学习

    该研究探讨有限精度数据表示和计算对神经网络训练的影响，并通过使用随机舍入的低精度定点计算方法在 16 位宽度的数据表示下训练深度网络来减少能量消耗并获得高分类准确性。

    Feb, 2015

  • 低精度训练中的内存与误差权衡

    本文提出一种基于 Pareto 估计的技术 (Pareto Estimation to Pick the Perfect Precision，PEPPP)，使用矩阵分解来查找非支配配置 (即 Pareto 前沿)，以在有限数量的网络评估下找到最小化错误的精度，从而解决低精度算术训练深度学习模型中的超参数调节问题。

    Jun, 2021

  • 重新发现使用哈希随机投影以高效量化上下文化句子嵌入

    本研究提出了一种利用随机超平面投影和量化技术，减小预处理数据的存储和带宽需求，从而使得边缘设备可以高效地进行推理和训练，并且在多语言句子分类任务中保持了良好的性能。

    Mar, 2023

  • 随机线性代数快速标签嵌入

    本文介绍了一种利用等级约束估计和低维度标签嵌入之间的对应关系发现的快速标签嵌入算法，该算法适用于多类和多标签数据集，并且其运行时间比朴素算法快效果显著，该方法在两个大规模公共数据集上进行了验证，并获得了最先进的结果。

    Dec, 2014

  • 基于随机哈希的可扩展可持续深度学习

    提出了一种基于哈希的新技术，通过只处理少量的节点来显著降低训练和测试深度神经网络的计算成本，该算法只使用了原始模型总乘法数的 5％，同时保持平均精度在 1％以内，其更新始终是稀疏的，使得算法非常适合异步和并行训练，端到端实验展示了该算法的可扩展性和可持续性。

    Feb, 2016

  • 大型线性层的高效反向传播优化

    该研究提出了一种将随机矩阵乘法用于梯度反向传播的方法，并证明该方法可以通过降低所需内存容量，从而更加有效地处理神经网络中的线性层。通过在语义理解任务中对 RoBERTa 模型进行测试，结果表明，该方法即使降低了测试准确度，但仍能实现显著的内存消耗优化。

    Jan, 2022

  • 只需一个字节（每梯度）：关于使用共享随机性进行低带宽分散化语言模型微调的注记

    本研究提出了一种基于共享随机性的分布式微调方法，通过使用单字节的梯度交换，减少了通信成本，并保留了最近研究中的内存效率和推理优势。

    Jun, 2023

  • 在线学习长程依赖关系

    本研究通过利用多层网络中的独立递归模块，提出了一种可行的高性能在线学习算法，能够有效地解决递归神经网络中长期信用分配的问题，并通过在合成记忆问题和长距离竞技场基准测试中的表现明确了该算法的有效性，为大脑学习和神经计算提供了新的思路。

    May, 2023

  • 内存高效的混合精度优化器

    传统优化方法依赖于使用单精度浮点算术，在内存大小和计算性能方面具有成本。然而，混合精度优化技术利用单精度和半精度浮点算术来降低内存需求，同时保持模型准确性。我们在训练模型期间提供了一种算法，通过摆脱参数的浮点副本，实际上只保留半精度数，进一步减少内存使用。我们还通过在反向传播期间执行优化器步骤来探索去除梯度值的好处。在实践中，我们实现了高达 25% 的峰值内存使用降低和 15% 的更快训练速度，同时保持相同水平的准确性。

    Sep, 2023

  • 混合精度训练

    介绍了一种使用半精度浮点数训练深度神经网络的技术，通过减少内存消耗和利用未来处理器的半精度硬件单元，大幅提高模型训练的计算速度。

    Oct, 2017