local attention | BriefGPT - AI 论文速递

关键词local attention

搜索结果 - 11

递归 Gemma：超越变压器实现高效的开放式语言模型
我们介绍了一个开放的语言模型，使用了谷歌的全新的 Griffin 架构。Griffin 结合了线性递归和局部注意力，在语言方面有出色的表现。它具有固定大小的状态，可减少内存使用并在长序列上实现高效的推理。我们提供了一个已经预训练的模型，其中
PDF3 months ago
ColorMNet：基于记忆的深度时空特征传播网络用于视频上色
如何有效地探索时空特征对于视频着色至关重要。我们开发了基于内存的特征传播模块，它可以与来自相隔较远的帧的特征建立可靠的连接并减轻不准确的估计特征的影响。为了从每个帧中提取更好的特征，我们使用大型预训练视觉模型来指导每个帧的特征估计，使得估计
PDF3 months ago
EGformer：基于全景几何偏置的 Transformer 网络用于 360° 深度估计
本研究提出了一种基于全景图几何偏置的 EGformer 变压器，利用全景图几何作为局部注意力的偏置，使得局部注意力在全局范围内进行提取，以实现对扭曲 equirectangular 图像的深度估计。相较最近的以变压器为基础的 EI 深度估计
PDFa year ago
CVPRSlide-Transformer: 具有局部自注意力的分层视觉变压器
本文提出一种新颖的本地自注意力模块 Slide Attention，使用深度卷积和变形平移技术实现高效、灵活和通用的局部特征学习，适用于各种高级视觉 Transformer 模型，并在多项基准测试中实现了持续的性能改进。
PDFa year ago
本地注意力的个性化联邦学习
在联邦学习中，为了解决不同客户端的局部数据异构性所带来的性能下降问题，提出了一种名为 pFedLA 的简单而有效的算法，该算法通过将关注机制纳入客户端的个性化模型，并保持关注块客户化，从而在任何联邦学习方法中提高其性能。
PDFa year ago
CVPRStyleSwin：基于 Transformer 的 GAN 用于高分辨率图像生成
本文研究探索类似于 pure transformers 的 GAN 架构来进行高分辨率图像合成，并提出了基于 Swin transformer 和本地化的 Local Attention 的 StyleSwin 生成器。在高分辨率合成过程中
PDF3 years ago
视频帧插值变换器
本论文提出了一种基于 Transformer 模型的视频插帧方法，利用自注意力机制实现了内容关注的多尺度帧间聚合，并引入本地注意力机制以及时间与空间的分离策略以优化性能。实验证明该方法在多个基准数据集上得到了优于现有方法的表现。
PDF3 years ago
ICLR局部注意力与动态深度可分离卷积之间的联系
本文探讨了 Local Vision Transformer 的前身 ——Vision Transformer 和其一种局部注意力机制 —— 局部连接的形式，并从 network regularization 角度分析了其权重的稀疏性、共享
PDF3 years ago
COLA-Net：协作注意力网络用于图像修复
本文提出了一种新颖的协作注意力网络（COLA-Net），该网络是首次尝试将局部和非局部注意力机制相结合以在复杂纹理区域和高度重复细节区域恢复图像内容。实验表明，我们的 COLA-Net 无论在峰值信噪比还是视觉感知上都达到了最先进的性能，同
PDF3 years ago
AAAI神经机器翻译的语法导向注意力
本文提出了一种在一个新的句法距离约束下扩展局部注意力的神经机器翻译模型，同时进一步提出了一个双重上下文神经机器翻译体系结构，以提高翻译性能。实验证明，该方法从源表示中实现了显著和重大的改进。
PDF7 years ago
EMNLP基于注意力机制的神经机器翻译有效方法
本文研究了两种简单而有效的注意力机制 —— 全局式和局部式，证明了这两种方法在英德翻译任务中的有效性，并使用不同的注意力架构建立了一个新的 WMT'15 英德翻译任务最佳结果的集成模型，其 BLEU 分数为 25.9 分，比现有的最佳基于
PDF9 years ago