May, 2023

探索有意图的键值查询模型空间

PDF
TL;DR该论文探讨了一种新的神经网络模块，称为 Keys-Values-Queries（KVQ）空间，它是对注意力（Attention）思想的扩展，能够高效地近似许多真实问题，其中包括解决标准最小二乘问题，并成功地应用于从 few-shot learning 到 policy distillation 等各种任务。
attention-based modelskeys-values-queries spaceneural network moduleleast squares problemdeep learning
发现论文，激发创造
  • 高斯注意力模型及其在知识库嵌入和问答中的应用

    该论文提出了高斯注意模型，该模型用于神经记忆访问，知识库的连续向量空间嵌入，实现对知识库实体的问答，并成功应用于 2014 年 FIFA 世界杯球员数据集的路径和联合查询。

    Nov, 2016

  • 键值变换器

    通过对 QKV 模式性能进行评估，我们发现一个结合了 2D 位置编码的不对称的 KV 变压器常常比 QKV 变压器更有效且需要更少的参数和计算。

    May, 2023

  • 神经注意力：利用神经网络增强自注意力机制中的 QKV 计算

    通过神经网络计算 QKV，优化自注意力机制在深度学习中的表现，并在实验中证明了该方法的有效性和潜力。

    Oct, 2023

  • 用于高效本地注意力的学习查询

    本文提出了一种名为 query and attend（QnA）的新型 shift-invariant local attention 层，将其并入分层视觉 transformer 模型，并证明其在速度和内存复杂度方面的改善，同时又能实现与最先进的模型相当的准确度。

    Dec, 2021

  • 基于 Top-k 注意力的内存高效 Transformer

    本文介绍了一种简单而高效的用于 vanilla attention 的逼近算法，基于对查询进行分块的计算，在多个数据集上的评估表明其准确性接近于 vanilla attention。

    Jun, 2021

  • 可训练前馈核线性自注意力近似

    本文旨在将可训练的核方法的思想扩展到逼近 Transformer 架构的自注意机制，以实现更快的计算和更高的准确率。

    Nov, 2022

  • 注意力的夸克

    本文研究了注意力机制的基本构建块及其计算性质，提出三种最重要的机制：加性激活注意力，乘性输出注意力（输出门控）和乘性突触注意力（突触门控），并证明加性激活注意是基本电路的下限证明中的重要角色。

    Feb, 2022

  • 注意力计算的快速量子算法

    本文讨论利用 Grover 的搜索算法有效地计算稀疏注意力计算矩阵，并在经典方法上实现了多项式量子加速。我们的量子算法输出的注意力矩阵还具有额外的低秩结构，这将有助于获得更快的 LLM 训练算法。此外，我们还对算法的错误分析和时间复杂度进行了详细分析。

    Jul, 2023

  • 查询和关键字总是相关的吗？Transformer 波函数的案例研究

    我们通过比较标准注意力机制和仅依赖于位置的简化版本（而不涉及查询和键）在参数化变分波函数领域的性能，在减少计算成本和参数使用的同时取得了竞争性结果。此外，通过分析标准注意力机制生成的注意力图，我们证明了在优化结束时，注意力权重变得有效地与输入无关。我们通过分析计算结果支持了这一结论，并提供了在研究大系统时为何应该从注意力机制中排除查询和键的物理洞见。有趣的是，在输入句子较长的情况下，相同的论点可以推广到自然语言处理领域。

    May, 2024

  • 使用跨层注意力减小 Transformer 键 - 值缓存大小

    使用交叉层注意力（CLA）设计可以进一步减小关键 - 值缓存的大小，而几乎保持与未修改 MQA 相同的准确性，在从头开始训练 1B 和 3B 参数模型的实验中证明 CLA 在内存 / 准确性权衡方面提供了帕累托改进，使得推断能处理比传统 MQA 更长的序列长度和更大的批次大小

    May, 2024