Feb, 2024

在 Transformer 中重用 Softmax 硬件单元进行 GELU 计算

PDF
TL;DR通过将 GELU 计算映射到 softmax 运算符，本文提出了一种在硬件中重新利用预设计的 softmax 硬件单元来计算 GELU 的方法，实验结果证明这种方法不会减少代表性自然语言处理应用的准确性，并且可以平均降低 6.1% 的硬件面积和 11.9% 的功耗。
transformerscomputationgelusoftmaxhardware
发现论文，激发创造
  • 高斯错误线性单元 (GELUs)

    本文提出了高性能的神经网络激活函数 ——Gaussian Error Linear Unit（GELU），它的非线性性能优于 ReLU 和 ELU，并在所有涉及的计算机视觉、自然语言处理和语音任务中均实现了性能提升。

    Jun, 2016

  • 深度学习中的 GELU 激活函数：全面的数学分析和性能评估

    本文通过数学方法详细地探究了 GELU 激活函数的不同 iability，boundedness，stationarity 和 smoothness 属性，并在 CIFAR-10、CIFAR-100 和 STL-10 数据集上进行了广泛的实验比较，结果表明 GELU 比其他激活函数具有更好的性能，为深度学习应用提供了一种适用的激活函数选择。

    May, 2023

  • GLU 变体改进 Transformer

    本研究测试了变化的 GLU，其中用不同的非线性（或线性）函数代替 sigmoid，发现其中一些在 Transformer 的前馈子层中使用比通常使用的 ReLU 或 GELU 激活函数有质量改进。

    Feb, 2020

  • 在量化嘈杂环境中利用连续可微激活函数进行学习

    通过不可微的激活函数如 GELU 和 SiLU，我们能够在存在量化噪声的情况下，实现对卷积、线性和 Transformer 网络的分析和训练，从而提供实现高性能和可靠硬件的适当激活函数选择。

    Feb, 2024

  • 非线性单元的两层回归的收敛性

    大语言模型中的注意力计算结构，以及利用 Hessian 矩阵找到近似最优解的算法。

    Aug, 2023

  • 神经网络激活函数电路的设计空间探索

    本研究探讨了利用组合电路高效实现非线性激活函数（如 SELU 和 tanh）的方法，在 MNIST、CIFAR-10 和 IMAGENET 基准测试中表现出很高的效率和精度，相比于 LUT / 存储器实现可以节省 3.13-7.69 和 4.45-8:45 的面积，能够分别在 5.14GHz 和 4.52GHz 的时钟频率下运行。

    Sep, 2018

  • 通过移除 GELU 激活函数加速整数 SWIN Transformer 的推断

    通过移除 SWIN Transformer 中的 GELU 激活，并用 ReLU 激活代替，我们使用迭代式知识蒸馏方法，在保持准确度下降低于 0.5% 的同时，至少提高了 11% 的量化 SWIN Transformer 的推理延迟。

    Feb, 2024

  • 大词汇神经网络快速 Softmax 推理的筛选学习

    在本文中，我们介绍了一种利用上下文向量的聚类结构的软最大似然层逼近算法，在移动设备上比传统方法具有更快的推理速度。我们使用 Gumbel softmax 对筛选模型进行端到端训练，通过在各种 NLP 任务中对前 k 个单词进行预测，实现了一个数量级更快的推理速度，例如在德语到英语的机器翻译任务中，与现有先进技术相比，我们实现了 20.4 倍的加速。

    Oct, 2018

  • 稳定且鲁棒的深度学习方法：双曲正切指数线性单元（TeLU）

    引入了 Hyperbolic Tangent Exponential Linear Unit（TeLU）作为一种新的神经网络激活函数，通过解决渐变消失和渐变爆炸问题，提高了稳定性和鲁棒性，在各种深度学习应用中表现出卓越的性能，将其视为潜在的新标准。

    Feb, 2024

  • 避免核心定点：使用 ELU 和 GELU 无限网络计算

    本文章提出了一种新的方法来推导多层感知器的协方差函数，并研究了具有不同激活函数的神经网络的固定点动力学，结果表明这些新的核展现出在有限宽度神经网络中被反映的非平凡的固定点动力学，这些网络中存在的固定点行为解释了过参数化的深度模型中的隐式正则化机制。

    Feb, 2020