Oct, 2021

ABC: 有界记忆力控制的注意力

PDF
TL;DR研究报告探讨了如何提高 Transformer 结构在处理长序列任务时的效率问题，提出了一种称为带有有限存储控制的注意力机制的抽象方法，并实现了学习性的上下文记忆优化，实验证明其可显著提高长序列任务的处理效率。
transformer architecturesattention mechanismbounded-memory controlefficient attention modelsinference time
发现论文，激发创造
  • 利用固定大小的记忆表示进行高效注意力

    本研究提出一种新的基于固定大小内存表示的注意力机制，能在不降低模型性能的情况下显著提高模型的实时性能，并能学习到有效的对齐方式。

    Jul, 2017

  • 近无限背景下的分块 Transformer 环形注意力

    传统的 Transformer 架构由于内存需求限制了其处理长序列的能力，而我们提出的 Ring Attention 方法通过分块计算自注意力和重叠通信的方式，提高了内存利用效率，允许处理更长的输入序列，从而消除了设备内存的限制，同时在语言建模任务上取得了显著的性能提升。

    Oct, 2023

  • 地标注意力：随机访问变形金刚的无限上下文长度

    本论文提出一种新方法，使用地标标记来代表输入的每个块，并通过训练使注意力选择相关块，从而使我们可以访问完整的上下文并保留随机访问灵活性。 该方法与专用数据结构和系统的内存层次结构无缝集成，可以处理任意长度的上下文长度。

    May, 2023

  • 抽象文本摘要中的地域性优化

    本文研究了在长文本摘要场景中采用限定范围的模型是否能够提供比具有全局范围的模型更高的性能，并探讨了在不同层次（从句子到文档）的三种文本局部性，实验结果表明，采用局部化建模策略的模型具有更好的性能。

    May, 2022

  • Transformer 中的自适应注意力跨度

    本研究通过提出一种自我注意力机制，可以学习其最优的注意范围，从而显着扩展了 Transformer 中使用的最大上下文大小，同时保持对内存占用和计算时间的控制。在字符级语言建模任务中，我们使用最大上下文为 8k 个字符，在 text8 和 enwiki8 上实现了最先进的性能。

    May, 2019

  • 突破注意力瓶颈

    通过开发一种生成函数来解决基于关注机制的注意力变量效率低的问题，该方法在处理变长输入序列和建模长程依赖方面具有更小的模型和更小的损失。

    Jun, 2024

  • 通过注意力值压缩输入长度和生成文本

    本文研究了 BERT 的注意力机制，探究了两个问题：如何使用注意力机制减少输入长度和如何将注意力用作条件文本生成的控制机制，并发现 BERT 的早期层对文本分类任务的关注度更高，其注意力和可以用于过滤给定序列的令牌，一定程度上减少了输入长度同时保持良好的测试准确性。

    Mar, 2023

  • 精简注意力：面向 Transformer 解码阶段的硬件感知可扩展注意力机制

    LeanAttention 是一种可扩展的自注意力计算技术，通过重新设计解码阶段的执行流程，将自注意力机制的实现扩展到具有挑战性的长上下文长度情况，以并行计算的方式提供 2.6 倍的平均注意力执行加速和最多 8.33 倍的速度提升。

    May, 2024

  • 通过正交内存实现线性关注

    通过使用正交内存（LAVO），我们提出了线性注意力方法的一种改进，通过正交分解将上下文压缩为固定大小的正交内存，同时最小化上下文中的冗余，并通过嵌入相对位置编码来改善外推能力。实验证明，LAVO 极大地提高了因果语言模型的效率，并在最佳外推性能上优于其他高效方法。

    Dec, 2023

  • 机器阅读理解的双向注意力流

    本文介绍了双向注意力流 (BIDAF) 网络，它是一个多阶段分层过程，在不进行早期汇总的情况下，用双向注意力流机制表示不同粒度级别的上下文，并获得了查询感知的上下文表示。实验结果表明，该模型在 Stanford Question Answering Dataset (SQuAD) 和 CNN/DailyMail cloze 测试中取得了最先进的结果。

    Nov, 2016