sparse attention mechanism | BriefGPT

关键词sparse attention mechanism

搜索结果 - 6

视觉大鸟：全注意力的随机稀疏化
基于 Big Bird 的 Transformers 模型，提出了一种用于 Vision Transformers 的稀疏注意机制，该模型在常见的视觉任务中展现了竞争力。
PDF8 months ago
稀疏现代 Hopfield 模型
稀疏的现代 Hopfield 模型通过基于凸共轭的稀疏熵正则化函数推导出闭合形式的稀疏 Hopfield 能量，从而实现了稀疏注意机制和记忆检索动态，并证明了其一步近似等价于稀疏结构的注意力机制，此外，提供了稀疏度相关的记忆检索误差界，表明
PDF9 months ago
STTracker: 3D 单目标时空跟踪器
本文提出了一种基于多帧点云输入的 3D 单物体跟踪方法，能够编码目标的时空信息、学习目标的运动信息，且采用稀疏注意力机制进行特征融合，在 uiti 和 NuScenes 数据集上均取得了具有竞争力的结果。
PDFa year ago
IJCAI稀疏 Transformer 视觉跟踪
通过引入稀疏注意力机制和双头预测器，成功地解决了基于 Transformer 模型的视觉跟踪任务中自注意力机制关注背景信息而影响性能的问题，并在 LaSOT、GOT-10k、TrackingNet 和 UAV123 等数据集中表现出显著的跟
PDF2 years ago
GODIVA：从自然语言描述中生成开放域视频
本研究提出使用三維稀疏注意力機制的開放領域文本到視頻預訓練模型 GODIVA，可通過自回歸方法生成視頻。該模型在 Howto100M 上進行預訓練，可用於視頻生成任務的調整，並具有良好的零 - shot 能力。為了自動評估視頻生成質量，還提
PDF3 years ago
大鸟：面向更长序列的 Transformer
本文介绍了基于 Transformers 模型 (BERT) 的缺点，提出了一种新模型 BigBird，该模型采用稀疏注意机制以线性方式减少了模型中由全面关注机制导致的二次依赖性 (主要是内存)，能够处理比以前长 8 倍长度的序列。因其能够
PDF4 years ago