Apr, 2025
通过表示工程提升大型语言模型的推理性能
Improving Reasoning Performance in Large Language Models via
Representation Engineering
TL;DR本文研究了大型语言模型(LLMs)推理能力的提高,提出了一种新的表示工程方法,通过从模型的残差流中读取激活值来生成控制向量,进而在推理时调整模型的表示空间。在各种推理基准测试中,该方法展示了通过简单干预的方式提升推理性能的潜力,表明可以有效调控LLM的推理能力。