Nov, 2024
轻推技术有效实现：通过对比激活引导在意大利语中的指令性模型构建
A gentle push funziona benissimo: making instructed models in Italian
via contrastive activation steering
TL;DR本研究解决了在预训练数据中仅部分包含意大利语的模型适应问题，通过探索基于激活引导的技术，提出了一种替代微调的方法。实验表明，意大利语激活引导技术不仅可以在不同模型上成功应用，其性能与微调模型相当甚至更优，从而提高了意大利语生成的质量和一致性。