May, 2023

少即是多：优化语言翻译的精简架构

PDF
TL;DR研究使用 KgV 提出了一种结合了 sigmoid 门控机制和 softmax 注意力机制的模型框架，同时采用张量链来减少嵌入层的超参数，并引入了 H-SoftPOS 当作嵌入层，相较于现有技术在性能和内存成本方面都有显著提高，并命名该体系结构为 Anthe。
softmax attentionsigmoid gating mechanismtensor chainsembedding layerperplexity
发现论文，激发创造
  • 无概率笼的标准化注意力

    本文介绍了 softmax-attention 在几何上的局限性，并提出采用归一化代替 softmax 实现自我注意力，从而获得超参数和数据推断鲁棒性较强的通用结构。

    May, 2020

  • 机器翻译加权变形器网络

    本篇论文提出基于注意力机制的神经机器翻译新架构，采用自注意力和前馈神经网络层来避免递归和卷积，但是需要大量的参数和训练才能收敛。同时又提出了加权 Transformer 模型，通过修改注意力层架构，更快地提高 BLEU 得分表现，同时在英译德和英译法机器翻译任务中表现最优。

    Nov, 2017

  • 再探类指针网络架构以有效改善下一个单词的分布，摘要真实性及其他方面

    本研究发现传统的语言模型中的 Softmax 层有瓶颈，使用 Pointer Networks 可以更高效地预测下一个单词的概率分布，并提出了多种简化 Pointer Networks 的方法，实验表明在 GPT-2 中应用这些方法可以显著提升摘要生成性能。

    May, 2023

  • 神经语言模型的自适应输入表示

    论文介绍了适应性输入表示对神经语言建模的重要性，对比了在自注意力网络结构中以字符、单词和亚词元为单位以及输入和输出层的因数分解方案，并最终实现了在不增加参数前提下提高模型训练速度和减少困惑度的目的。

    Sep, 2018

  • Softmax 的优势：揭示其在线性注意力上的性能优势

    通过对 softmax 和线性注意机制进行全面的比较分析，我们揭示了 softmax 注意在大多数情况下优于线性注意的潜在原因。

    Oct, 2023

  • SOFT: 线性复杂度的无 Softmax Transformer

    提出了一种 softmax-free transformer 或 SOFT 方法，通过使用高斯内核函数替换点积相似性，而不需要标准化以消除 softmax，在计算复杂度上具有线性复杂度，并显著提高了已有 ViT 变种的计算效率。

    Oct, 2021

  • 高效 Transformer 及其扩展的神经架构搜索

    本文采用神经架构搜索技术，提出了一种优化 Transformer 架构的新框架，以增强其效率，并通过机器翻译和图像分类任务进行验证。实验表明，优化后的 Transformer 架构在计算效率方面得到提升，但与标准 Transformer 相比，其整体精度略有下降，这表明了深度学习模型的精确性和效率之间的平衡问题。因此，本文提出了将 Softmax attention 和 efficient attention 混合使用的方法以达到平衡性。

    Jul, 2022

  • 无 Softmax 的线性变换器

    提出 SOftmax-Free Transformer (SOFT)，其采用高斯核函数替代点积相似度，从而能够通过低秩矩阵分解逼近完整的自注意力矩阵，该模型能够明显提高现有 ViT 变体的计算效率，同时具有线性复杂度，且能够容纳更长的令牌序列，优化了准确率和复杂度之间的权衡。

    Jul, 2022

  • 自适应半参数语言模型

    该研究提出了一种结合大型参数神经网络和非参数周期性记忆组件的语言模型，通过缓存本地隐藏状态和检索一组最近的邻居标记来使用扩展的短期上下文和全局长期记忆，并设计门控函数来自适应地组合多个信息源来做出预测。

    Feb, 2021

  • schuBERT: 优化 BERT 的元素

    基于 Transformer 的模型 BERT 在多项任务上取得最先进的结果，但由于参数数量巨大，计算代价昂贵。本文提出了一种基于算法优化的轻量级压缩方案，成功地减少了模型中的参数数量，且在保证精度的情况下相比 BERT 模型取得了更好的性能。

    May, 2020