self-attention | BriefGPT - AI 论文速递

关键词self-attention

搜索结果 - 373

视觉 Transformer 中查询 - 键交互的解析
通过奇异值分解研究图像视觉变换器中的自注意力机制，发现早期层更倾向于关注相似的标记，而后期层则更多地注意不相似的标记，这些奇异值表示的特征之间的相互作用具有可解释性，从而为理解转换器模型在处理图像时如何利用上下文和显著特征提供了新的解释角度
PDF3 months ago
基于多尺度时空自注意力图卷积网络的基于骨架的动作识别
通过使用自注意力图卷积网络 (GCN) 技术，本研究提出了一种混合模型，名为多尺度时空自注意力网络 (MSST-GCN)，以有效提高建模能力，并在多个数据集上取得了最先进的结果。该模型利用自空间注意力模块来理解帧内不同身体部位之间的关系，利
PDF3 months ago
DeblurDiNAT: 图像去模糊的轻量级有效的 Transformer
我们提出了一种紧凑的编码器 - 解码器 Transformer 模型 DeblurDiNAT，旨在高效地从现实世界的模糊图像中恢复清晰图像。通过采用交替的空洞因子结构和通道调制的自注意力块 (CMSA)，以及快速特征传播的径路和乘法前馈网络
PDF3 months ago
ViTGaze：视觉 Transformer 中的交互特征目光追踪
基于 Vision Transformers 和自注意力机制，我们提出了一种新的单模态注视跟踪框架 ViTGaze，通过人 - 场景间的信息交互提高了性能，达到了最先进的性能水平。
PDF3 months ago
自动驾驶中视觉变形器研究综述：现状和未来发展方向
该论文综述探讨了视觉 Transformer 模型在自动驾驶中的应用，重点研究了自我注意力、多头注意力和编码器 - 解码器架构等基本概念，并比较了它们在目标检测、分割、行人检测、车道检测等应用中的架构优点和局限性，最后展望了视觉 Trans
PDF4 months ago
自注意力增强的图卷积网络：结构学习和节点嵌入
本研究提出了一种名为 GCN-SA 的新型图学习框架，它具有出色的节点级表示学习的泛化能力，并且通过自注意机制和改进的转换器块实现了对长程依赖关系的捕捉，从而使其能够在具有不同程度同质性的图上进行表示学习。
PDF4 months ago
值得信赖的自注意力：使网络只专注于最相关的参考资料
通过利用在线遮挡识别信息构建扩展可视特征和两个强约束条件，该研究实现了光流预测中对被遮挡点的精确定位，取得了当前领先方法的显著误差减小，对所有点、未被遮挡的点和被遮挡的点分别比 GMA-base 方法 (MATCHFlow (GMA)) 分
PDF4 months ago
PIDformer: Transformer 遇见控制理论
我们提出了一种改进 transformer 架构的方法，通过引入自我注意力作为自主状态空间模型，控制系统对输入的干扰进行反馈控制，提高模型的稳定性和容错能力，从而解决了 softmax transformer 中的秩坍缩问题。我们通过在目标
PDF4 months ago
ChunkAttention: 具有前缀感知 KV 缓存和两阶段划分的高效自注意力
通过引入 ChunkAttention，我们设计了一种前缀感知的自注意力模块，可以在运行时检测到多个请求之间匹配的前缀，并共享它们的键 / 值张量以提高 KV 缓存的内存利用率。通过将单片键 / 值张量分解成较小的块并将它们结构化到辅助前缀
PDF4 months ago
从自注意力到马尔可夫模型：揭示生成变换器的动力学
通过研究自注意力模型与马尔科夫模型的等价关系，我们建立了一种简单而强大的框架来研究自注意力及其特性。
PDF4 months ago
通过查询扭曲进行人类视频翻译
本文提出了 QueryWarp 框架，一种用于时域连贯人体动作视频转换的新型方法。通过构建不同帧之间查询标记的时域相关性，我们使用外观流来对先前帧的查询标记进行变形，以与当前帧的查询标记对齐，从而在输出的自注意层上施加了显式约束，有效地保证
PDF4 months ago
FViT：一种具有 Gabor 滤波器的聚焦视觉变换器
利用 Gabor 滤波器和学习能力，结合视觉变换器模型，设计了一种有效的金字塔网络结构，称为 Focal Vision Transformers（FViTs），在各种视觉任务中展现出出色的性能。
PDF5 months ago
注意力的 I/O 复杂性：闪快注意力有多优化？
FlashAttention 算法解决了自我注意力在 Transformer 架构中的 I/O 复杂性问题，并且建立了通信复杂性与 I/O 复杂性之间的联系。
PDF5 months ago
自注意力的隐性偏见和快速收敛速率
通过对自注意力机制进行梯度下降的隐式偏差研究，我们在二进制分类中的固定线性解码器上训练自注意力层，证明了全局收敛并量化了关注图的稀疏化速率，同时分析了自适应步长规则对自注意力收敛速度的加速效果，从而进一步加强了自注意力的隐式偏差视角并强化了
PDF5 months ago
实时瓶颈和冲击波预测的中尺度交通预测
本文介绍了 SA-LSTM，一种深度预测方法，通过在空间维度上集成自注意力 (SA) 和长短期记忆 (LSTM)，在实时中尺度交通预测方面取得了最先进的结果，并将此方法扩展到多步预测，从而在短期和长期预测之间取得了传统多步预测方法无法匹敌的
PDF5 months ago
基于空域频域相互作用的双通路耦合图像去雨网络
我们开发了一种创新的双路径耦合去雨网络（DPCNet），通过空间特征提取块（SFEBlock）和频率特征提取块（FFEBlock）在空间和频率域中整合信息，并引入了一种有效的自适应融合模块（AFM）来进行双通路径特征聚合。该方法在六个公共去
PDF5 months ago
Transformer 与大脑皮层波：跨时间上下文编码器
将完整的输入序列转换为长的 “编码向量”，通过计算输入序列中单词对之间的关联，增强转换器中的时间上下文，而类似的编码原则可以通过神经活动在大脑皮层区域内或整个大脑尺度上传播的波动实现。
PDF5 months ago
重新思考面向掩码自编码器的补丁依赖
我们重新审视了遮蔽自编码器（MAE）解码机制中的区块间依赖关系，并将此解码机制分解为自注意力和交叉注意力。我们的研究表明，区块之间的自注意力对于学习良好的表示并非必要。基于此，我们提出了一种新颖的预训练框架：交叉注意力遮蔽自编码器（Cros
PDF5 months ago
Spikformer V2：使用 SNN 特征进行 ImageNet 高精度计算
通过结合自注意能力和生物特性，本论文提出了一种新颖的脉冲自注意 (SSA) 和脉冲变换器 (Spikformer)，其中 SSA 机制消除了 softmax 的需求，利用基于脉冲的查询、键和值实现了稀疏视觉特征的捕获，而 SCS 则用于增强
PDF6 months ago
经典和量子序列模型概述
我们通过对各种经典和量子神经网络顺序模型进行简要调查，重点关注近期提出的用于近期量子设备的量子方法，同时探索了这些量子模型的一些基本增强。我们通过将量子自注意力应用于文本和图像分类的量子混合变压器的图像分类方法对这些现有方法进行重新实现，还
PDF7 months ago