Dec, 2023

Res-Attn: 一种带有轻量级注意力机制的增强型 Res-Tuning 方法

PDF
TL;DR基于 Res-Tuning 框架，本研究提出了一种高级高效的调谐器 Res-Attn，利用低秩注意力机制对查询、键和值进行投影，通过训练这个轻量级的注意力模块，实现了对新场景的自适应，并在一系列判别性和生成性任务中展示了与现有方法相比的优越性能。
res-tuningmodel tuningtunerslow-rank attentionres-attn
发现论文，激发创造
  • 低秩重缩放视觉转换器微调：一种残差设计方法

    利用奇异值分解对预训练参数矩阵进行精细调整的高效参数微调方法提供了对现有方法调整动态的洞察，通过残差设计确保新参数不会过度偏离预训练模型，实验结果表明，这种方法在各种下游图像分类任务中实现了竞争性的性能，并且保持了可比较的新参数。

    Mar, 2024

  • 利用轻量级注意力机制增强乳腺癌分类的迁移 ResNet

    深度学习模型已经通过学习原始像素数据中的复杂特征层次结构，革新了图像分类。本文介绍了一种基于 ResNet 模型的图像分类方法，并引入了一个轻量级的注意力机制框架来提高性能。该框架优化了特征表示，增强了分类能力，并提高了特征的判别性。我们在 Breakhis 数据集上验证了该算法的有效性，在许多方面显示出其优越性。我们的方法不仅在传统模型方面具有优势，还在当代视觉转换器等最先进方法上显示出优势。在精确度、准确度、召回率、F1 分数和 G-means 等指标方面实现了显著的改进，同时在收敛时间方面表现良好。这些结果加强了算法的性能，并巩固了其在实际图像分类任务中的应用前景。

    Aug, 2023

  • 多任务大模型设备调优

    本文提出了 Device Tuning 方法来提高自注意力模型的计算效率，并通过压缩表示减少设备与云端之间的通信，有效支持多任务学习。

    Feb, 2023

  • ResMatch: 针对局部特征匹配的残差注意力学习

    本文提出了 ResMatch 和 sResMatch 两种残差注意力学习策略，以利用描述符和相对位置的相似性来实现图神经网络中的特征匹配和过滤。实验证明，这些网络在特征匹配、姿态估计和视觉定位等方面具有优越性。

    Jul, 2023

  • 残差注意力网络用于图像分类

    通过引入注意力机制，在端到端的训练过程中将其与最先进的前馈网络结构相结合，我们提出了一种卷积神经网络模型 “Residual Attention Network”，并在 CIFAR-10、CIFAR-100 和 ImageNet 三个基准数据集上实现了最佳的物体识别表现。

    Apr, 2017

  • 共识自适应 RANSAC

    通过引入注意机制和一步变压器，我们提出了一种新的 RANSAC 框架，其学习通过考虑迄今为止观察到的残差来探索参数空间，并在实验中表现出了显著的性能提升和良好的泛化性能。

    Jul, 2023

  • 低秩注意力侧调整：参数高效微调

    通过冻结预训练模型的参数和输出，Low-rank Attention Side-Tuning (LAST) 将可训练模块与预训练模型解耦，通过学习预训练模型的中间输出并专注于学习任务特定的知识，从而实现大大减少 GPU 内存和训练时间的高效下游任务适应。

    Feb, 2024

  • ResT: 用于视觉识别的高效 Transformer

    本文提出了一种高效的多尺度视觉 Transformer 模型，名为 ResT，可作为图像识别的通用骨干。它通过一些优势来应对传统 Transformer 模型在应对分辨率固定的原始图像中存在的缺陷， 特别是建立了一种内存高效的多头自注意力机制、一种空间关注的位置编码方法，并将贴片嵌入设计为一系列重叠卷积运算，最终提高了大量原始图像识别和下游任务的性能。

    May, 2021

  • 多分辨率分析 (MRA) 用于近似自注意力

    利用 Multiresolution Analysis 中的 Wavelets 概念构建一种高效的自我关注模型，同时在短序列和长序列的 NLP 任务上均表现优异。

    Jul, 2022

  • 图像超分辨率中的注意力注意网络

    本研究提出了一种新的超分辨率模型 ——A^2N 模型，该模型中引入了注意力机制，并通过动态调整注意力机制使模型达到更高的性能。实验表明，该模型表现出优异的性能。

    Apr, 2021