Dec, 2023
持续同调是否能净化基于 Transformer 的黑盒模型?BERT 压缩的案例研究
Can persistent homology whiten Transformer-based black-box models? A case study on BERT compression
Luis Balderas, Miguel Lastra, José M. Benítez
TL;DR使用持久同调来衡量每个神经元的重要性的 Optimus BERT 压缩和解释能显著压缩 BERT 模型,并使其适合在资源受限设备上部署,从而提供对其神经元的解释能力。