Feb, 2025

逐层探索语言模型中的隐藏表示

TL;DR本研究解决了大型语言模型(LLMs)中对中间层表示的忽视问题,提出中间层能够编码更丰富的特征,从而提高多种下游任务的性能。通过建立基于信息理论、几何学及输入扰动不变性的统一表示质量度量框架,研究揭示中间层嵌入的优势,挑战了传统对最终层嵌入的重视,并为模型分析和优化开辟了新方向。