self-attention | BriefGPT - AI 论文速递

关键词self-attention

搜索结果 - 373

VideoMambaPro：Mamba 视觉理解的重大进展
通过对自我注意力和 Mamba 之间的差异进行理论分析，我们提出了 VideoMambaPro（VMP），通过向 VideoMamba 骨干结构添加掩码反向计算和元素残差连接来解决 Mamba 的两个限制，从而实现了卓越的视频动作识别性能，
PDF5 days ago
LLM 的潜在概念关联和转换器中的联想记忆
大型语言模型具有存储和提取事实的能力，并且可以通过改变上下文来操纵提取事实的能力，揭示出它们可能像联想记忆模型一样行为，其中上下文中的某些令牌作为提取事实的线索。我们通过研究 transformer 如何完成此类记忆任务，对这一属性进行了数
PDF6 days ago
通过核主成分分析揭示自注意力的隐藏结构
我们通过核主成分分析推导了自注意力机制，表明自注意力将其查询向量投影到特征空间中其关键矩阵的主成分轴上。利用我们的核主成分分析框架，我们提出了一种鲁棒的自注意力机制 RPC-Attention，该机制对数据污染具有弹性，并在 ImageNe
PDF13 days ago
ICLRTransformer 和神经网络的原始 - 对偶框架
自注意力机制是 transformers 在序列建模任务中取得卓越成功的关键，本研究提出了一种基于支持向量回归问题的自注意力构建方法，推导出常用的注意力层，并提出了两种新型注意力机制：1) 批正则注意力，2) 缩放头注意力，通过实证研究证明
PDF13 days ago
ICMLQuest: 查询感知稀疏性用于高效长上下文 LLM 推断
长上下文大语言模型的推理速度下降的问题可以通过使用查询感知的 KV 缓存选择算法来加速自注意力机制，该算法通过仅加载前 K 个关键 KV 缓存页面来显著提高自注意力的速度。
PDF16 days ago
ASoBO：会议中远程说话者分辨的注意力波束选择
基于自注意力的算法用于选择固定空间滤波器的输出，从而用于联合语音活动检测和重叠说话检测的特征提取器，进而推断说话人分离。自注意力权重的分析表明其可解释性，因为它们与说话者的角度位置相关。
PDFa month ago
多层可学习的多模态任务注意力掩码
通过引入可学习的注意力掩码（LAM）来全局调控注意力图并优先选择序列中的关键标记，该方法在 BERT-like transformer 网络中充分捕捉了标记之间的关联，通过对多层版本的 LAM 的扩展适应了 Transformer 网络各层
PDFa month ago
ICML连续时间动态图上的长距离传播
通过引入连续时间图反对称网络（CTAN），本文展示了 CTAN 方法在模拟长程依赖任务以及在合成长程基准和实际基准上的优越性能，从而证明了其长程建模能力并将长程任务作为时间图模型评价的一部分。
PDFa month ago
块级 Transformer：全局到局部的语言建模以提高快速推理能力
通过采用分层的全局到局部建模的方法，本研究提出了块变压器架构，以缓解自注意力所带来的推理瓶颈。通过在较低层应用快速局部建模和在较高层应用全局建模，以减轻与全局上下文相关的计算代价，并通过聚合输入令牌来降低较低层的计算代价，在没有全局注意力瓶
PDFa month ago
MetaMixer 是你所需要的一切
通过将自注意力转换为采用大型卷积和 GELU 激活函数的更类似于 Feed-Forward Network 的有效令牌混合器，作者尝试验证了查询 - 键 - 值框架的重要性，并提出了一种新的混合器体系结构 MetaMixer，在仅使用简单操
PDFa month ago
ICML图转换器泛化能力的提升方法：关注力机制和位置编码的理论探讨
该研究通过理论探索首次分析了浅层图变换器在半监督节点分类中的应用。它使用了自注意力和位置编码，并描述了实现理想的泛化误差所需的样本复杂度和迭代次数的定量特征。此外，文中还展示了自注意力和位置编码如何通过稀疏化注意力图和在训练过程中促进核心邻
PDFa month ago
关注掩码和层归一化在 Transformer 中的作用
通过分析自我注意力机制和层标准化对秩崩溃的影响，本文发现层标准化在自我注意力的秩崩溃中起到了关键作用，为自我注意力提供了更富表现力、多功能的非线性动力系统。
PDFa month ago
回顾：具备特征存储的视频到视频翻译技术
StreamV2V 是一种实时的流媒体视频转视频（V2V）翻译方法，通过用户提示实现。它通过维护一个特征库，将过去的信息与当前帧进行融合，在处理无限帧数时，以流媒体方式而非批处理方式进行帧处理。StreamV2V 具有自适应性和高效性的特点
PDFa month ago
Transformer 模型在下一个 Token 预测中的上限和下限记忆容量
给定一个令牌序列，如单词，下一个令牌预测的任务是预测下一个令牌的条件概率分布。我们针对仅编码器的 transformer 模型的性质进行了研究，并证明了该模型可以插值下一个令牌分布的最大上下文序列的上下界，其中下界只需最小的参数数量即可实现
PDFa month ago
IJCAILeMeViT：高效视觉变换器与可学习元记号用于遥感图像解读
本文提出使用可学习的元标记来构建稀疏标记，通过交叉注意力和双重交叉注意力（DCA）实现信息交换，从而达到提高图像识别速度和效果的目标。
PDF2 months ago
IceFormer: 基于 CPU 的长序列 Transformer 加速推理
通过加速自注意机制在推断时的方法，我们成功加速了各种长序列转换器，并在各个基准测试中展示了 2.73 倍 - 7.63 倍的速度提升，同时保留了 98.6%-99.6% 的原始预训练模型的准确性。
PDF2 months ago
重新思考基于深度学习的微结构仿真
本文介绍了 TAO，它通过重新设计基于深度学习的模拟方法，提出了一种新的训练数据集设计，使用自注意力机制重新设计输入特征和 DL 模型以预测各种性能指标，并提出了训练一个微架构不可知嵌入层的技术，可以在不同的微架构配置之间进行快速迁移学习，
PDF3 months ago
用于新一代网络替代 Transformer 的状态空间模型：概述
在这篇论文中，我们首次全面回顾了 State Space Model（SSM）作为自注意力基础的 Transformer 模型的特性和优势，并提供了实验比较和分析。此外，我们还研究了 SSM 在自然语言处理和计算机视觉等多个领域的应用，并提
PDF3 months ago
Mansformer：用于图像去模糊及其它任务的高效混合注意力转换器
我们提出了 Mansformer，它是一种结合了多种自注意力、门控和多层感知的混合加权 Transformer，通过对张量形状和维度进行精心调整，将典型的二次复杂度自注意力分解成四次线性复杂度操作，并利用类似 Squeeze-and-Exc
PDF3 months ago
LIPT：时延感知图像处理 Transformer
本文提出了一种低延迟的图像处理 transformer，名为 LIPT，通过使用自注意力和卷积的组合来替代内存密集型运算符，以实现实用的加速。在多个图像处理任务上进行的广泛实验表明，LIPT 在延迟和 PSNR 方面均表现出优越性，实现了多
PDF3 months ago