Jun, 2024
CorDA:大型语言模型的上下文导向分解适应
CorDA: Context-Oriented Decomposition Adaptation of Large Language Models
Yibo Yang, Xiaojie Li, Zhongzhu Zhou, Shuaiwen Leon Song, Jianlong Wu...
TL;DR该研究论文提出了一种基于上下文的分解自适应方法 CorDA,通过收集少量数据样本并使用奇异值分解来构建适应器,从而更好地保留了世界知识并提升了参数优化方法的性能。