Jul, 2022

重新思考轻量级非局部神经网络中 Softmax 的有效性

PDF
TL;DR本文通过实验证明 NL block 中 softmax 操作效率低下，提出使用 scaling factor 来优化 attention maps，取得了在 CIFAR-10、CIFAR-100 和 Tiny-ImageNet 数据集上的改进，并且在多头注意力下没有额外的计算成本。
non-local blockglobal contextsattention mapsscaling factormulti-head attention
发现论文，激发创造
  • 轻量级非局部网络神经结构搜索

    本文提出了 AutoNL 算法解决了 Non-Local blocks 难以嵌入移动神经网络和配置不优等问题。AutoNL 设计了轻量级的 Lightweight Non-Local block 和一种有效的神经架构搜索算法，仅使用 32 个 GPU 小时即在 ImageNet 数据集的 350M FLOPs 的移动设定下实现了 77.7％的准确率，显著优于 MobileNetV2，FBNet 和 MnasNet 等先前的移动模型。

    Apr, 2020

  • Softmax 的优势：揭示其在线性注意力上的性能优势

    通过对 softmax 和线性注意机制进行全面的比较分析，我们揭示了 softmax 注意在大多数情况下优于线性注意的潜在原因。

    Oct, 2023

  • 无概率笼的标准化注意力

    本文介绍了 softmax-attention 在几何上的局限性，并提出采用归一化代替 softmax 实现自我注意力，从而获得超参数和数据推断鲁棒性较强的通用结构。

    May, 2020

  • SOFT: 线性复杂度的无 Softmax Transformer

    提出了一种 softmax-free transformer 或 SOFT 方法，通过使用高斯内核函数替换点积相似性，而不需要标准化以消除 softmax，在计算复杂度上具有线性复杂度，并显著提高了已有 ViT 变种的计算效率。

    Oct, 2021

  • 探索 Softmax 的前沿：可证明的优化、扩散模型应用与更多

    通过理论研究两层 softmax 神经网络的优化和泛化性质，揭示了 softmax 函数的归一化效应对所引起的神经核矩阵的扰动性能具有利于构建良好的损失函数曲面凸区域，从而 softmax 神经网络可以在超参数多于样本数量的情况下学习目标函数。

    May, 2024

  • 无 Softmax 的线性变换器

    提出 SOftmax-Free Transformer (SOFT)，其采用高斯核函数替代点积相似度，从而能够通过低秩矩阵分解逼近完整的自注意力矩阵，该模型能够明显提高现有 ViT 变体的计算效率，同时具有线性复杂度，且能够容纳更长的令牌序列，优化了准确率和复杂度之间的权衡。

    Jul, 2022

  • 全球上下文网络

    本论文提出了全局上下文网络 (GCNet)，它通过一个基于无查询的公式的简化网络来实现比 Non-Local Network (NLNet) 更轻量级的全局上下文建模，并在多个骨干网络层次上使用它来构建全局上下文网络。在各种识别任务的主要基准测试中，GCNet 通常优于 NLNet。

    Dec, 2020

  • 大词汇神经网络快速 Softmax 推理的筛选学习

    在本文中，我们介绍了一种利用上下文向量的聚类结构的软最大似然层逼近算法，在移动设备上比传统方法具有更快的推理速度。我们使用 Gumbel softmax 对筛选模型进行端到端训练，通过在各种 NLP 任务中对前 k 个单词进行预测，实现了一个数量级更快的推理速度，例如在德语到英语的机器翻译任务中，与现有先进技术相比，我们实现了 20.4 倍的加速。

    Oct, 2018

  • 少即是多：优化语言翻译的精简架构

    研究使用 KgV 提出了一种结合了 sigmoid 门控机制和 softmax 注意力机制的模型框架，同时采用张量链来减少嵌入层的超参数，并引入了 H-SoftPOS 当作嵌入层，相较于现有技术在性能和内存成本方面都有显著提高，并命名该体系结构为 Anthe。

    May, 2023

  • 非局部神经网络

    该论文提出了非局部操作作为一种用于捕捉长程依赖性的通用组建块，可以在许多计算机视觉体系结构中使用，并且在视频分类和静态图像识别中表现优异。

    Nov, 2017