Oct, 2024

超越2:4:在GPU上高效变换器推理的V:N:M稀疏性探索

TL;DR本研究针对现有2:4稀疏模式在GPU推理中低加速效益及固定稀疏比的问题,探索了V:N:M稀疏性的应用。通过提出启发式的V和M选择、特定通道置换和三阶段LoRA训练技术,提高了V:N:M稀疏变换器的适用性和准确性。实验结果表明,V:N:M稀疏变换器能够在低的稀疏比下实现无损准确性,并在速度-准确性权衡上优于2:4稀疏性,为成本敏感的推理场景提供了有效的加速解决方案。