self-attention distillation | BriefGPT

关键词self-attention distillation

搜索结果 - 4

CATFace: 基于跨属性引导变压器和自注意力蒸馏的低质量人脸识别
通过应用软生物特征属性和自我注意力蒸馏方法，我们提出了一种新颖的多分支神经网络，用于提高低质量图像下面部识别的性能，实验证明我们的方法优于最先进的研究成果。
PDF6 months ago
商业锂离子电池浅循环状态健康估计的自注意力知识领域适应网络
本文提出了一种使用自注意力蒸馏模块和多核最大均值差异技术的无监督深度转移学习方法，用于估算浅循环电池的 SOC，与其他转移学习方法相比，该方法具有更高的准确性和超出 2％的均方根误差。
PDFa year ago
MiniLM: 预训练 Transformer 的深度自注意力蒸馏的任务无关压缩
本文通过对最后一层 Transformer 模型中的自我注意模块的蒸馏，提出了一种简单有效的压缩大型预训练模型的方法，同时引入了新的 “缩放点积” 深层自我注意知识，并在这个基础上设计了一个小留学生模型来减少参数量和延迟，实现了对 GLUE
PDF4 years ago
ICCV自我注意力蒸馏学习轻量级车道检测卷积神经网络
本文提出了一种自我注意力蒸馏（SAD）方法来提高车道检测的深度学习模型的性能。这种方法使得模型可以从自身中学习丰富的上下文信息，无需额外监督或标签，从而在三个主要基准中取得了优秀的性能，并且可以轻松地与任何前馈 CNN 集成，而不会增加推断
PDF5 years ago