Apr, 2022
Monarch: 高效准确训练的表达性结构矩阵
Monarch: Expressive Structured Matrices for Efficient and Accurate Training
Tri Dao, Beidi Chen, Nimit Sohoni, Arjun Desai, Michael Poli...
TL;DR提出了一种硬件高效且表现力强的矩阵类别(Monarch),用于训练和微调稀疏或密集的神经网络,可在多个应用中实现加速训练的目的,并且具有可比拟的模型质量。