Apr, 2023

ASR: 类注意力结构重参数化

TL;DR通过结构重参数化技术 (SRP) 实现网络结构间的互相转换,本文提出一种 attention-alike SRP (ASR) 技术,使得 self-attention 模块也能被重构,从而可在不需要深度模型设计的情况下提高性能。