BriefGPT.xyz
大模型
Ask
alpha
关键词
self-attention computation
搜索结果 - 4
可变形音频变压器用于音频事件检测
基于变形注意力和金字塔 Transformer 骨干，提出了一种用于音频识别的新型变形音频 Transformer，名为 DATAR，解决了自注意力计算中的二次复杂度问题，适用于低资源环境和移动 / 边缘设备，并通过引入学习输入适配器对变形
→
PDF
6 months ago
Vision Transformer 的补丁混合精度量化
本文提出了一种基于 patch 的混合精度量化方法，用于 ViTs 神经网络的高效推理，通过引入轻量级全局度量并采用帕累托前沿法自动分配最佳的位精度来减少搜索成本。实验证明这种方法大大减少了搜索成本，使混合精度量化应用于 ViTs 变得容易
→
PDF
a year ago
ICLR
注意力可收缩变换器用于精确图像恢复
本文提出了 Attention Retractable Transformer (ART) 用于图像修复任务，通过在网络中使用稠密和稀疏注意力模块，实现更广泛的接受域并提高了 Transformer 的表征能力。大量实验结果验证了该方法在各
→
PDF
2 years ago
ECCV
Wave-ViT：融合小波和 Transformer 的视觉表示学习
本研究通过构建 Wavelet Vision Transformer 来处理多尺度视觉问题，使用小波变换实现可逆下采样，同时结合局部上下文信息提高自注意力计算结果，结果表明其在图像识别等多种任务上表现优异。
PDF
2 years ago
Prev
Next