neighborhood attention | BriefGPT

关键词neighborhood attention

搜索结果 - 4

更快的邻域注意力机制：在线程块级别降低自注意力的 O (n^2) 复杂度
邻域自注意力通过限制每个标记的注意力范围为其最近的邻居来降低自注意力的成本。这种限制通过窗口大小和膨胀因子参数化，绘制了在线性投影和自注意力之间的一系列可能的注意力模式。我们将邻域注意力表示为分批 GEMM 问题，实现了 1-D 和 2-D
PDF4 months ago
NAC-TCN: 基于因果稀疏邻域注意力的时序卷积网络用于情感理解
视频情感识别是通过一系列方法如 GRUs、LSTMs、自注意力机制、Transformers 和 TCNs 改善了基于视频情感识别，然而这些方法存在内存使用高、操作量大或梯度下降不良的问题。我们提出了一种称为邻域注意力与卷积 TCN（NAC
PDF7 months ago
Dilated-UNet：一种使用扩张变换器和 U-Net 结构的快速准确的医学图像分割方法
介绍了 Dilated-UNet，结合了 Dilated Transformer 块和 U-Net 架构，用于快速准确地进行医学图像分割，并在多个具有挑战性的医学图像分割数据集上取得了优于其他模型的成果。
PDFa year ago
邻域注意力变换器
该研究提出了邻域注意力机制（Neighborhood Attention），改进了窗口自注意力机制（Window Self Attention），提高了视觉任务的性能，特别是图像分类方面。
PDF2 years ago