Jan, 2024

PRILoRA:修剪和增大秩的低秩适应

TL;DRPRILoRA通过在线性分配不同的秩给每一层并在训练过程中进行剪枝,考虑到权重的临时大小和给定层的输入的累积统计信息,验证了其在八个GLUE基准测试中的有效性,取得了最新的技术成果。