May, 2024
一个令牌可以帮助!学习可扩展和可插拔的虚拟令牌用于增强检索的大型语言模型
One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models
Yutao Zhu, Zhaoheng Huang, Zhicheng Dou, Ji-Rong Wen
TL;DR通过学习可扩展且可插拔的虚拟标记,我们的方法在保持大型语言模型的原始参数的基础上,仅对这些可插入标记的嵌入进行微调,从而提高了大型语言模型的性能并保留了其普遍的生成能力。