EMNLPOct, 2023
CRaSh：聚类、剪枝和共享增强细调，无需完整大型语言模型
CRaSh: Clustering, Removing, and Sharing Enhance Fine-tuning without Full Large Language Model
Kaiyan Zhang, Ning Ding, Biqing Qi, Xuekai Zhu, Xinwei Long...
TL;DR借助 CRaSh 方法，通过探索 Large Language Models (LLMs) 的模块化结构和表示相似性，本文研究了 Offsite-Tuning (OFT) 技术及其与后端模拟器之间的转换，提高其性能并解决隐私问题。研究发现模型大小会导致 LLMs 内层面的唯一模块结构的出现，并注意到隐含的表示和中间预测方面的微妙变化。实验结果证明 CRaSh 和 OFT 的有效性，且细调尝试的结构优化解具有线性连通性。