Dec, 2023

SCCA：长上下文语义扩展的偏移交叉块注意力

PDF
TL;DR通过 Shifted Cross Chunk Attention (SCCA) 结合 Dilated Attention (DA) 和 Dilated Neighborhood Attention (DNA) 的方法，本研究在语言建模实验中使用不同的 SCCA 模式和 SCCA 与 SDA 的组合，有效地将大型语言模型（LLMs）扩展到更长的上下文，并与当前稀疏注意力相比提供了一个插拔式微调方法，以扩大模型上下文，并与大多数现有技术兼容。
sparse attentionshifted cross chunk attention (scca)dilated attention(da)dilated neighborhood attention(dna)language modeling experiments
发现论文，激发创造
  • SCA-CNN：用于图像字幕的卷积网络中的空间和通道注意力

    本文介绍了一种新的卷积神经网络 SCA-CNN，其中引入了空间和通道注意力，用于图像描述任务，结果表明 SCA-CNN 明显优于现有的基于视觉关注的图像描述方法。

    Nov, 2016

  • 大型语言模型的免训练长篇背景文本扩展

    通过使用 Dual Chunk Attention (DCA) 来实现对超过 100k 个 token 的上下文窗口的支持，从而达到与有限调优模型相媲美，甚至更好性能的 70B 模型。

    Feb, 2024

  • 自适应结构稀疏注意力的长环境 LLM 推理近无损加速

    本文提出了 SampleAttention，一种自适应结构化的稀疏注意力机制，通过捕捉稀疏模式和列条纹模式来减少时间到第一个令牌的延迟，并在大规模语言模型中取得了几乎没有准确性损失的效果。

    Jun, 2024

  • 自校准交叉注意力网络用于少样本分割

    通用关键词：少样本分割、支持样本、交叉注意、自校准交叉注意、mIoU 分数。摘要：本文提出了一种自校准交叉注意模块来解决几个问题，包括在少样本分割中如何有效利用支持样本、如何融合查询背景特征、以及如何计算相似度。实验证明，该模型在 COCO-20i 上的 5-shot 设置下的 mIoU 分数比之前的最新技术提升了 5.6%+

    Aug, 2023

  • MoA: 自动大规模语言模型压缩的稀疏注意力混合

    稀疏注意力能够有效缓解大型语言模型在长上下文中的内存和吞吐量需求，我们提出了混合注意力（MoA），它能够自动为不同的注意力头部和层级适应不同的稀疏注意力配置，通过优化稀疏注意力压缩方案，MoA 在保持平均注意力范围不变的情况下，将有效上下文长度提高 3.9 倍，并在多个评估指标上取得 1.5-7.1 倍的准确性提升，在 GPU 内存减少 1.2-1.4 倍的同时，提升解码吞吐量 5.5-6.7 倍。

    Jun, 2024

  • SAC: 通过稀疏自适应连接加速和结构化自注意力

    本文介绍 Sparse Adaptive Connection（SAC）方法，将输入序列视为图，并通过构建关注边，以改进任务特定性能，优化了自注意力机制。通过在图形表示学习和图像分类中实施的广泛实验，证明了 SAC 在减少内存成本的同时，可以与最先进的模型竞争。

    Mar, 2020

  • 级联自注意力和互注意力块的视觉问答

    本文提出了一种通过视觉和文本模态的密集交互来学习改进的多模态表示的模型，其 attention block 包含自我注意力和共注意力，旨在提高视觉问题回答任务的性能。该模型在 VQA2.0 和 TDIUC 数据集上经过基准测试，并通过消融分析实验证明了模型的关键组件和注意力模块级联的有效性。

    Feb, 2023

  • 单调块级注意力

    本文介绍了一种名为 MoChA 的注意力机制，该机制可以将输入序列自适应地分成小块，以实现在线和线性时间解码，并在在线语音识别和文档摘要等任务中取得了良好的结果。

    Dec, 2017

  • 基于结构化注意力的上下文演示规模化

    提出了一个用于上下文学习的更好的架构设计 SAICL（Structured Attention for In-Context Learning），该架构通过将全注意力替换为专为上下文学习设计的结构化注意力机制，并消除个体示范之间的不必要依赖性，同时使模型对示范的排列具有不变性。在元训练框架中评估 SAICL，并显示出与全注意力相当或更好的性能，同时获得最多 3.4 倍的推理加速。SAICL 还始终优于每个示范独立处理的强基线 Fusion-in-Decoder（FiD）。最后，由于其线性特性，我们证明 SAICL 可以轻松扩展到数百个示范，并实现连续的性能增益。

    Jul, 2023

  • 利用多尺度令牌聚合的深层自注意力机制

    本文提出一种名为 SSA 的新型自注意力策略，能够使 Vision Transformer 模型在单个自注意力层上实现对多种尺度特征的建模，并得到了广泛验证和超越同类模型的结果。

    Nov, 2021