Apr, 2023
ASR: 类注意力结构重参数化
ASR: Attention-alike Structural Re-parameterization
Shanshan Zhong, Zhongzhan Huang, Wushao Wen, Jinghui Qin, Liang Lin
TL;DR通过结构重参数化技术 (SRP) 实现网络结构间的互相转换,本文提出一种 attention-alike SRP (ASR) 技术,使得 self-attention 模块也能被重构,从而可在不需要深度模型设计的情况下提高性能。