Mar, 2023

缩小规模以进行高效参数微调指南

TL;DR本文系统概述和比较了40多篇发表于2019年2月至2023年2月之间的参数高效微调方法,这些方法旨在通过仅训练小量参数来解决微调大型语言模型的不可行性和不实用性,提供了一种包括多种方法的分类方法,并重点关注实际效率和微调超大规模语言模型。